python爬虫—爬取百度百科数据

时间：2022-04-20 04:36:55

爬虫框架：开发平台 centos6.7 根据慕课网爬虫教程编写代码 片区百度百科url，标题，内容

分为4个模块:html_downloader.py 下载器
html_outputer.py 爬取数据生成html模块
html_parser 获取有用数据
url_manager url管理器
spider_main 爬虫启动代码
 
spider_main.py
 #!/usr/bin/python

 #-*- coding: utf8 -*-

 import html_downloader

 import html_outputer

 import html_parser

 import url_manager

 class SpiderMain(object):

     def __init__(self):

         #初始化url管理器

         self.urls = url_manager.UrlManager()

         #初始化url下载器

         self.downloader = html_downloader.HtmlDownloader()

         #初始化url解析器

         self.parser = html_parser.HtmlParser()

         #初始化url输出

         self.outputer = html_outputer.HtmlOutputer()

     def craw(self, root_url):

         count = 1

         #url管理器中添加一个new url

         self.urls.add_new_url(root_url)

         #判断是否有新的URL 开始爬取

         while self.urls.has_new_url():

             try:

                 #得到新的url

                 new_url = self.urls.get_new_url()

                 print 'craw %d : %s' % (count, new_url)

                 #下载新的url的数据

                 html_cont = self.downloader.download(new_url)

                 #解析出来url的内容和地址

                 new_urls, new_data = self.parser.parse(new_url, html_cont)

                 #新的url补充进url管理器

                 self.urls.add_new_urls(new_urls)

                 #输出数据

                 self.outputer.collect_data(new_data)

                 if count == 1001:

                     break

                 count = count + 1

                 print count

             except:

html_parser.py

 #!/bin/usr/python

 #-*- coding:utf8 -*-

 from bs4 import BeautifulSoup

 import re

 import urlparse

 class HtmlParser(object):

     '''

     解析器

     '''

     def _get_new_urls(self, page_url, soup):

         new_urls = set()

         links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm"))

         for link in links:

             new_url = link['href']

             new_full_url = urlparse.urljoin(page_url, new_url)

             new_urls.add(new_full_url)

         return new_urls

     def _get_new_data(self, page_url, soup):

         res_data = {}

         res_data['url'] = page_url

         title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title").find('h1')

         res_data['title'] = title_node.get_text()

         summary_node = soup.find('div', class_="lemma-summary")

         res_data['summary'] = summary_node.get_text()

         print res_data['summary']

         return res_data

     def parse(self, page_url, html_cont):

         if page_url is None or html_cont is None:

             return 

         soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')

         new_urls = self._get_new_urls(page_url, soup)

         new_data = self._get_new_data(page_url, soup)

         print new_data

         return new_urls, new_data

html_outputer.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class HtmlOutputer(object):

     def __init__(self):

         self.datas = []

     def collect_data(self, data):

         if data is None:

             return

         self.datas.append(data)

     def output_html(self):

         fout = open('output.html', 'w')

         fout.write("<html>")

         fout.write("<body>")

         fout.write("<head>")

         fout.write('<meta charset="utf-8">')

         fout.write("</head>")

         fout.write("<table>")

         for data in self.datas:

             fout.write("<tr>")

             fout.write("<td>%s</td>" % data['url'])

             fout.write("<td>%s</td>" % data['title'].encode('utf-8'))

             fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))

             fout.write("</tr>")

         fout.write("</table>")

         fout.write("</body>")

         fout.write("</html>")

         fout.close()

html_downloader.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 import urllib2

 class HtmlDownloader(object):

     '''

     下载器

     '''

     def download(self, url):

         if url is None:

             return None

         response = urllib2.urlopen(url)

         if response.getcode() != 200:

             print '请求失败'

             return None

         return response.read()

url_manager.py

 #!/usr/bin/python

 #-*- coding:utf8 -*-

 class UrlManager(object):

     '''

     url管理器

     '''

     def __init__(self):

         self.new_urls = set()

         self.old_urls = set()

     def add_new_url(self, url):

         if url is None:

             return

         if url not in self.new_urls and url not in self.old_urls:

             self.new_urls.add(url)

     def has_new_url(self):

         if len(self.new_urls) != 0:

             return len(self.new_urls)

         else:

             print '没有新的url'

     def get_new_url(self):

         new_url = self.new_urls.pop()

         self.old_urls.add(new_url)

         return new_url

     def add_new_urls(self, urls):

         if urls is None or len(urls) == 0:

             return

         for url in urls:

             self.add_new_url(url)

python爬虫—爬取百度百科数据的更多相关文章

  1. python爬虫-爬取百度图片

    python爬虫-爬取百度图片(转) #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:16# 文件 :spider ...

  2. Python爬虫 - 爬取百度html代码前200行

    Python爬虫 - 爬取百度html代码前200行 - 改进版,  增加了对字符串的.strip()处理 源代码如下: # 改进版, 增加了 .strip()方法的使用 # coding=utf-8 ...

  3. 写一个python 爬虫爬取百度电影并存入mysql中

    目标是利用python爬取百度搜索的电影 在类型 地区 年代各个标签下 电影的名字 评分 和图片连接 以及 电影连接 首先我们先在mysql中建表 create table liubo4( id in ...

  4. python爬虫-爬取豆瓣电影数据

    #!/usr/bin/python# coding=utf-8# 作者 :Y0010026# 创建时间 :2018/12/16 16:27# 文件 :spider_05.py# IDE :PyChar ...

  5. python简单爬虫爬取百度百科python词条网页

    目标分析:目标:百度百科python词条相关词条网页 - 标题和简介 入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL:/ ...

  6. Python爬虫爬取百度翻译之数据提取方法json

    工具:Python 3.6.5.PyCharm开发工具.Windows 10 操作系统 说明:本例为实现输入中文翻译为英文的小程序,适合Python爬虫的初学者一起学习,感兴趣的可以做英文翻译为中文的 ...

  7. Python爬虫爬取百度贴吧的帖子

    同样是参考网上教程,编写爬取贴吧帖子的内容,同时把爬取的帖子保存到本地文档: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urlli ...

  8. Python爬虫爬取百度贴吧的图片

    根据输入的贴吧地址,爬取想要该贴吧的图片,保存到本地文件夹,仅供参考: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urllib2i ...

  9. python爬虫爬取赶集网数据

    一.创建项目 scrapy startproject putu 二.创建spider文件 scrapy genspider  patubole patubole.com   三.利用chrome浏览器 ...

随机推荐

  1. 如何使用Javascript判断浏览器终端设备

    WEB开发中如何通过Javascript来判断终端为PC.IOS(iphone).Android呢? 可以通过判断浏览器的userAgent,用正则来判断手机是否是ios和Android客户端 var ...

  2. javascript默认中文（汉字&sol;标点）长度均为1的解决

    javascript默认中文(汉字/标点)长度均为1 与后台(java)不一致, function calculate(str) { //var str="你好,哈哈哈000111lll&q ...

  3. Deferred

    http://blog.allenm.me/2012/01/jquery_deferred_promise_method/ http://www.ruanyifeng.com/blog/2011/08 ...

  4. 重写（override）和重载（overload）的区别

    override(重写): 是进行基类中函数的重写,是面向对象的概念 重载(overload):是方法的名称相同,参数或参数类型不同,进行多次重载以适应不同的需要.overload 是面向对象的概念.

  5. 常用mvn坐标

    mysql-connector <dependency> <groupId>mysql</groupId> <artifactId>mysql-conn ...

  6. 【转载】MapReduce编程 Intellij Idea配置MapReduce编程环境

    目录(?)[-] 一软件环境 二创建maven工程 三添加maven依赖 四配置log4j 五启动Hadoop 六运行WordCount从本地读取文件 七运行WordCount从HDFS读取文件 八代 ...

  7. js计算器---转

    至今见过的一个还没问题的计算器,收藏在此. 转自javascript写的简单的计算器原文链接,谢分享! js部分 ar num=0,result=0,numshow="0"; va ...

  8. MD5，SHA1 都是哈希 摘要算法 MD5&plus;SALT BCRYPT

    为什么说 MD5 是不可逆的? md5是摘要算法,你学数据结构的时候学过哈希表吧?也有叫散列的.md5就是干那个用的 当然,如果硬要说的话...你可以用md5 hash一段字符串,也算是加密好了,不过 ...

  9. 判断IE浏览器的最简洁方法

    <script type='text/javascript'> var ie = !-[1,]; alert(ie);</script>

  10. 查看当前mysql数据库实例中&comma;支持的字符集有哪些&comma;或者是否支持某个特定字符集

    需求描述: 查看当前mysql实例中支持哪些字符集,过滤特定的字符集 操作过程: 1.通过show character set来进行查看 mysql> show character set; + ...

相关文章