爬虫大作业（2017年科技界发生了哪些变化——爬取17年腾讯新闻科技板块下的所有新闻）

 

 

---

一、主题

　　本次作业是通过爬取腾讯新闻科技板块下2017年所有的新闻数据来分析17年科技界都发生了哪些热门事件，通过词云分析得出17年度科技界最热的词语。

二、实现过程

　　1、首先打开腾讯新闻网，进入科技频道。然后通过浏览器检查工具查看网页源代码，查找规律。

　　

可以看出腾讯新闻科技频道下的新闻列表网址的规律如下：

　　网址前面一部分以年份和月份表示，后一部分以具体哪一天的日期表示。

　　所以我通过如下代码获取17年腾讯科技频道新闻的所有新闻列表页：

# 获取2017年所有新闻详情页的链接
def FindAll():
    newsList=[]
    for month in range(1, 13):
        for day in range(1, 29):
            if(month < 10):
                month= '0'+str(month)
            if(day<10):
                day = '0'+str(day)
            url='http://tech.qq.com/l/2017{mon}/scroll_{da}.htm'.format(mon=month,da=day)
            month= int(month)
            day= int(day)
            nextUrl=finNextPage(url)
            if nextUrl:
                getListPage(nextUrl)
            getListPage(url)

2、但由于具体哪一天到底有几页新闻列表页是不确定的（如下图，有些一天的新闻列表页只有一页，有些两页或者三页。由于三页的情况比较少，所以我只考虑了一页两页的情况）

通过观察网页源代码可知，当某天新闻列表页存在第二页的情况下，第二页新闻列表页网址是在第一页网址基础上追加“_2"来表示的，如下图

 

于是有了判断某天新闻列表页是否存在第二页的思路，代码如下：

# 判断当天新闻是否存在下一页
def finNextPage(newsUrl):
    url=newsUrl.split(".htm")
    url = url[0] + '_2.htm'
    result=requests.get(url)
    if (result.status_code==200):
        return url

3、在爬取到了17年全天的新闻列表页的情况下，接下来就是爬取具体新闻列表页的所有新闻详情的网址链接了

　　可以看到，新闻详情页链接放在li标签里的a标签下，所以只需爬取a标签的href属性值，代码如下：

# 获取新闻列表页的所有新闻链接
def getListPage( pageUrl):
   reslistnew = requests.get(pageUrl)
   reslistnew.encoding = 'gbk'
   souplistnew = BeautifulSoup(reslistnew.text, 'html.parser')
   for news in souplistnew.select('li'):
       if len(news.select('.pub_time'))>0:
           newsUrl=news.select('a')[0].attrs['href']
           #getNewsDetail(newsUrl)
           result = re.search('http(.*?)html', newsUrl)
           if result is None:
               print("------------------------"+newsUrl+"    -------------------------------------------")
               getNewsDetail(newsUrl)
               print("\n \n \n")

4、知道了17年所有科技新闻的详情页链接，就可以开始爬取新闻详情正文内容为词云分析做准备了

通过查看源代码，可知新闻正文放在”Cnt-Main-Article-QQ“里的P标签下，如图

但由于腾讯新闻种类繁多，有些是图集新闻，没有正文内容，如果还按照有正文的方式爬取便会出错，而且有些新闻代码风格也不一致，正文放的DIV名字不相同，所以要区别对待爬取，代码如下：

# 解析新闻详情页的新闻发布时间、标题、正文等描述
def getNewsDetail(newsUrl):
    resd = requests.get(newsUrl)
    resd.encoding = 'gbk'
    soupd = BeautifulSoup(resd.text, 'html.parser')
    news = {}
    Cnt_Main_Article=soupd.select('.Cnt-Main-Article-QQ')
    Main_P_QQ=soupd.select('Main-P-QQ')
    if soupd.select('.rv-middle'):
        news['content']=soupd.select('h1')[0].text
    else:
        news['title'] = soupd.select('h1')[0].text
        if Cnt_Main_Article:
            news['content'] = Cnt_Main_Article[0].text
        elif Main_P_QQ:
            news['content'] = '空'
        else:
            news['content'] = '空'
        saveNews(news['content'])
        print(news)

5、在爬取新闻正文之后，还要注意把内容保存起来，这里我把爬取到的新闻正文内容保存到TechNews.txt里。代码如下：

# 保存新闻内容
def saveNews(content):
    f=open("TechNews.txt",'a',encoding='utf-8')
    f.write(content)
    f.close()

至此，2017年腾讯新闻科技频道下的所有新闻正文内容已爬取下来保存好了

6、接下来就是结合词云进行词频统计了

import wordcloud

from wordcloud import wordcloud.wordCloud()

#词云包

import jieba
text=open('TechNews.txt','r',encoding='utf-8')
word=text.read()
text.close()
wordDict={}
wordList=list(jieba.cut(word))
wordSet=set(wordList)
wordCutSet={',','的','。','\n',' ','了','他','\u3000','是','也','人','一个','，','、'}
wordSet=wordSet-wordCutSet
for w in wordSet:
    wordDict[w]=wordList.count(w)
sortWord=sorted(wordDict.items(),key=lambda e:e[1],reverse=True)
for w in range(20):
    print(sortWord[w])
    image = Image.open('stay.png')
    graph = np.array(image)
    # 进行词云的设置
    wc = WordCloud(font_path='./fonts/simhei.ttf',  background_color='White',max_words=230, mask=graph, random_state=30,scale=1.5)
    wc.generate_from_frequencies(keywords)
    image_color = ImageColorGenerator(graph)
    plt.imshow(wc)
    plt.imshow(wc.recolor(color_func=image_color))
    plt.axis("off")
    plt.show()
    wc.to_file('dream.png')

统计结果如下：

7、由词云图可以看出，17年科技界比较火的就是大数据，人工智能，物联网，区块链等等。其中也可以看出，腾讯，谷歌，阿里巴巴，微软，谷歌这几家公司几乎是占据着科技新闻的头条，可以是科技界的大哥大了

8、最后提交爬取的全部数据、爬虫及数据分析源代码。

import pandas
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import re
import openpyxl

# 保存新闻内容
def saveNews(content):
    f=open("TechNews.txt",'a',encoding='utf-8')
    f.write(content)
    f.close()
# 解析新闻详情页的新闻发布时间、标题、正文等描述
def getNewsDetail(newsUrl):
    resd = requests.get(newsUrl)
    resd.encoding = 'gbk'
    soupd = BeautifulSoup(resd.text, 'html.parser')
    news = {}
    Cnt_Main_Article=soupd.select('.Cnt-Main-Article-QQ')
    Main_P_QQ=soupd.select('Main-P-QQ')
    if soupd.select('.rv-middle'):
        news['content']=soupd.select('h1')[0].text
    else:
        news['title'] = soupd.select('h1')[0].text
        if Cnt_Main_Article:
            news['content'] = Cnt_Main_Article[0].text
        elif Main_P_QQ:
            news['content'] = '空'
        else:
            news['content'] = '空'
        saveNews(news['content'])
        print(news)


# 获取新闻列表页的所有新闻链接
def getListPage( pageUrl):
   reslistnew = requests.get(pageUrl)
   reslistnew.encoding = 'gbk'
   souplistnew = BeautifulSoup(reslistnew.text, 'html.parser')
   for news in souplistnew.select('li'):
       if len(news.select('.pub_time'))>0:
           newsUrl=news.select('a')[0].attrs['href']
           #getNewsDetail(newsUrl)
           result = re.search('http(.*?)html', newsUrl)
           if result is None:
               print("------------------------"+newsUrl+"    -------------------------------------------")
               getNewsDetail(newsUrl)
               print("\n \n \n")

# 获取2017年所有新闻详情页的链接
def FindAll():
    newsList=[]
    for month in range(1, 13):
        for day in range(1, 29):
            if(month < 10):
                month= '0'+str(month)
            if(day<10):
                day = '0'+str(day)
            url='http://tech.qq.com/l/2017{mon}/scroll_{da}.htm'.format(mon=month,da=day)
            month= int(month)
            day= int(day)
            nextUrl=finNextPage(url)
            if nextUrl:
                getListPage(nextUrl)
            getListPage(url)

# 判断当天新闻是否存在下一页
def finNextPage(newsUrl):
    url=newsUrl.split(".htm")
    url = url[0] + '_2.htm'
    result=requests.get(url)
    if (result.status_code==200):
        return url
    
def result():
    text=open('TechNews.txt','r',encoding='utf-8')
    word=text.read()
    text.close()
    wordDict={}
    wordList=list(jieba.cut(word))
    wordSet=set(wordList)
    wordCutSet={',','的','。','\n',' ','了','他','\u3000','是','也','人','一个','，','、'}
    wordSet=wordSet-wordCutSet
    for w in wordSet:
        wordDict[w]=wordList.count(w)
    sortWord=sorted(wordDict.items(),key=lambda e:e[1],reverse=True)
    for w in range(20):
        print(sortWord[w])
        image = Image.open('stay.png')
        graph = np.array(image)
        # 进行词云的设置
        wc = WordCloud(font_path='./fonts/simhei.ttf',  background_color='White',max_words=230, mask=graph, random_state=30,scale=1.5)
        wc.generate_from_frequencies(keywords)
        image_color = ImageColorGenerator(graph)
        plt.imshow(wc)
        plt.imshow(wc.recolor(color_func=image_color))
        plt.axis("off")
        plt.show()
        wc.to_file('dream.png')
FindAll()