文件名称:weibospider-1.7.2.zip
文件大小:61KB
文件格式:ZIP
更新时间:2022-12-03 08:05:49
爬虫 微博爬虫 weibospider weibospider-1.7.
和名字一样,这是一款专注于微博的爬虫工具,相对而言比较简单, 功能全面:包括了用户信息抓取、指定关键字搜索结果增量抓取、指定用户主页所有原创微博抓取、评论抓取和转发关系抓取等。
【文件预览】:
weibospider-1.7.2
----comment_first.py(88B)
----page_get()
--------status.py(606B)
--------user.py(4KB)
--------__init__.py(35B)
--------basic.py(4KB)
----.gitattributes(93B)
----utils()
--------email_warning.py(1KB)
--------__init__.py(2B)
--------util_cls.py(1018B)
--------code_verification.py(5KB)
--------filters.py(372B)
----db()
--------wb_data.py(1KB)
--------keywords_wbdata.py(385B)
--------basic_db.py(736B)
--------user.py(438B)
--------tables.py(6KB)
--------login_info.py(659B)
--------__init__.py(0B)
--------seed_ids.py(2KB)
--------models.py(1KB)
--------search_words.py(485B)
--------weibo_comment.py(574B)
--------redis_db.py(7KB)
--------user_relation.py(295B)
--------weibo_repost.py(638B)
----logger()
--------log.py(2KB)
--------__init__.py(0B)
----test_wbspider.py(8KB)
----Dockerfile(1KB)
----wblogin()
--------login.py(8KB)
--------__init__.py(14B)
----user_first.py(93B)
----search_first.py(99B)
----page_parse()
--------repost.py(3KB)
--------status.py(6KB)
--------comment.py(2KB)
--------basic.py(1KB)
--------home.py(6KB)
--------search.py(6KB)
--------user()
----home_first.py(94B)
----decorators()
--------__init__.py(12B)
--------decorator.py(3KB)
----requirements.txt(131B)
----tasks()
--------repost.py(2KB)
--------login.py(869B)
--------user.py(2KB)
--------comment.py(2KB)
--------workers.py(4KB)
--------__init__.py(0B)
--------home.py(3KB)
--------search.py(2KB)
----config()
--------spider.yaml(3KB)
--------conf.py(2KB)
--------__init__.py(0B)
----LICENSE(1KB)
----repost_first.py(100B)
----README.md(23KB)
----login_first.py(180B)
----env.sh(623B)
----headers.py(3KB)
----create_all.py(183B)
----.gitignore(121B)