文件名称:Python-微博终结者爬虫
文件大小:134KB
文件格式:ZIP
更新时间:2022-08-30 01:14:42
Python开发-Web爬虫
这个项目致力于对抗微博的反爬虫机制,集合众人的力量把微博成千上万的微博评论语料爬取下来并制作成一个开源的高质量中文对话语料,推动中文对话系统的研发。
【文件预览】:
weibo_terminater-master
----setup.py(753B)
----.gitignore(42B)
----settings()
--------id_file(0B)
--------config.py(1KB)
--------accounts.py(1KB)
----core()
--------__init__.py(0B)
--------dispatch_center.py(4KB)
----COPYRIGHT(2KB)
----scraper()
--------weibo_scraper.py(14KB)
--------__init__.py(0B)
----utils()
--------__init__.py(0B)
--------connection.py(758B)
--------string.py(996B)
--------cookies.py(4KB)
----README.md(10KB)
----run_phantomjs.sh(441B)
----ghostdriver.log(1KB)
----main.py(3KB)
----requires.txt(210B)
----weibo_detail()
--------__init__.py(0B)
--------1669879400.txt(313KB)
----tests.py(2KB)