文件名称:scrapy抓取知乎话题回答
文件大小:164KB
文件格式:ZIP
更新时间:2018-07-27 15:13:25
scrapy 知乎 python mysql
实现功能:1、抓取知乎上关注人数超过2000人数的话题、相应连接、父子话题,并存入数据库。 2、抓取某一话题的回答,可以设置赞的最低数才会被抓取,并存入数据库。 3、将感兴趣的内容获取出来发送qq邮件。
【文件预览】:
zhihu
----zhihu()
--------items.pyc(502B)
--------pipelines.pyc(3KB)
--------pipelines.py(3KB)
--------spiders()
--------__init__.pyc(135B)
--------getInteresting.py(4KB)
--------config.ini(123B)
--------util.py(2KB)
--------items.py(486B)
--------__init__.py(0B)
--------settings.py(817B)
--------getInteresting.pyc(4KB)
--------settings.pyc(598B)
--------互联网行业招聘.txt(200B)
--------util.pyc(2KB)
----scrapy.cfg(252B)
zhihu_topic
----scrapy.cfg(264B)
----getInteresting.py(1KB)
----topic.txt(518KB)
----zhihu_topic()
--------items.pyc(544B)
--------pipelines.pyc(2KB)
--------pipelines.py(2KB)
--------spiders()
--------__init__.pyc(147B)
--------items.py(432B)
--------__init__.py(0B)
--------settings.py(864B)
--------settings.pyc(639B)