爬虫代理池维护

时间:2021-11-04 13:07:50
【文件属性】:

文件名称:爬虫代理池维护

文件大小:821KB

文件格式:7Z

更新时间:2021-11-04 13:07:50

python 爬虫 代理

自动维护的爬虫代理池,定时检测代理ip是否可用,并将可用代理存入redis数据库,使用前请安装redis数据库~


【文件预览】:
ProxyPool
----.gitignore(35B)
----README.md(2KB)
----proxypool()
--------api.py(753B)
--------utils.py(1KB)
--------setting.py(438B)
--------__pycache__()
--------schedule.py(5KB)
--------__init__.py(0B)
--------db.py(1KB)
--------getter.py(5KB)
--------error.py(356B)
----examples()
--------example_round_proxy.py(2KB)
--------example.py(598B)
----LICENSE(11KB)
----requirements.txt(81B)
----.idea()
--------workspace.xml(16KB)
--------vcs.xml(185B)
--------misc.xml(294B)
--------modules.xml(277B)
--------inspectionProfiles()
--------ProxyPool.iml(580B)
----setup.py(906B)
----.travis.yml(204B)
----dump.rdb(805B)
----run.py(187B)
----.git()
--------HEAD(23B)
--------packed-refs(114B)
--------index(2KB)
--------objects()
--------description(73B)
--------config(302B)
--------info()
--------hooks()
--------logs()
--------refs()

网友评论