Python Scrapy爬虫爬取微博和微信公众号热门消息

时间:2022-04-15 09:26:20
【文件属性】:

文件名称:Python Scrapy爬虫爬取微博和微信公众号热门消息

文件大小:25KB

文件格式:RAR

更新时间:2022-04-15 09:26:20

爬虫 Scrapy python python

爬取微博需要以字典的形式设置自己的cookie。用于初学者学习,分别用了bf4和xpath,数据处理还不完善,存入了mysql数据库,改写sql语句就可以写入自己的表中


【文件预览】:
newspider
----weibo.json(9KB)
----newspider()
--------spiders()
--------items.py(526B)
--------pipelines.py(1KB)
--------middlewares.py(4KB)
--------settings.py(3KB)
--------__pycache__()
--------__init__.py(0B)
----news.json(8KB)
----weibo1.json(90KB)
----scrapy.cfg(261B)
----spider.py(82B)
----README.MD(261B)
----db.sql(181B)

网友评论