文件名称：ScrapyNews:采用scrapy框架抓取新闻的项目
文件大小：5.19MB
文件格式：ZIP
更新时间：2024-06-03 11:22:35
Python
ScrapyNews 采用scrapy框架抓取新闻的项目 详细使用方式，请看我的博客: 最新也在更新关于此爬虫的扩展更多网站，能够轻而易举爬取不同类型的网站，大家可以关注我的公众号，更新我会及时通知。 我的微信公众号: 项目依赖 windows环境 1.安装Mysql数据库，可以直接去官网安装 2.安装Microsoft Visual c++ 14.0,可以从微软官网上下载exe安装， scrapy中twisted需要此开发包支持 3.安装requests,chardet,web.py,gevent psutil: pip install requests chardet web.py sqlalchemy gevent psutil 4.安装pywin32,scrapy，bs4,pillow,opencv-python,pymysql:pip install pywin32 scrapy
【文件预览】：
ScrapyNews-master
----setup.py(267B)
----.gitignore(1KB)
----spiderrun.bat(15B)
----requirements.txt(47B)
----run.py(1KB)
----LICENSE(11KB)
----doc()
--------爬虫结构.vsdx(33KB)
--------scrapy结构.vsdx(81KB)
--------Scrapy爬虫.docx(145KB)
----kfpa.jpg(9KB)
----README.md(3KB)
----scrapy.cfg(267B)
----IPProxyPool-master()
--------api()
--------.gitignore(1KB)
--------requirements.txt(132B)
--------data()
--------db()
--------validator()
--------start.bat(16B)
--------util()
--------IPProxy.py(764B)
--------config.py(11KB)
--------test()
--------spider()
----scrapywork()
--------middlewares.py(4KB)
--------spiders()
--------hfs()
--------__init__.py(0B)
--------pipelines.py(3KB)
--------models.py(23KB)
--------utils.py(0B)
--------rules()
--------logger.py(280B)
--------settings.py(9KB)
--------items.py(854B)
----IPProxyrun.bat(39B)