从网络上获取免费可用的IP代理数据。先用爬虫程序抓取代理数据,再检查代理是否可用,可用的话就存放到数据库中

时间:2021-07-25 03:05:40
【文件属性】:

文件名称:从网络上获取免费可用的IP代理数据。先用爬虫程序抓取代理数据,再检查代理是否可用,可用的话就存放到数据库中

文件大小:21KB

文件格式:GZ

更新时间:2021-07-25 03:05:40

代理池

该项目有两个模块proxypool和proxypool-web,从网络上抓取数据的核心工作由proxypool模块完成,可以在site这个package下新增针对不同网页的解析类。proxypool-web模块是依赖proxypool模块实现的sample模块。


【文件预览】:
proxy_pool-1.12
----.gitignore(19B)
----Dockerfile(1KB)
----Manager()
--------__init__.py(361B)
--------ProxyManager.py(3KB)
----requirements.txt(94B)
----Util()
--------utilFunction.py(3KB)
--------__init__.py(343B)
--------WebRequest.py(3KB)
--------utilClass.py(1KB)
--------GetConfig.py(2KB)
--------LogHandler.py(3KB)
--------EnvUtil.py(430B)
----Config.ini(568B)
----__init__.py(358B)
----.travis.yml(129B)
----log()
--------__init__.py(0B)
----LICENSE(1KB)
----doc()
--------introduce.md(7KB)
--------release_notes.md(362B)
----_config.yml(32B)
----README.md(7KB)
----test.py(395B)
----Test()
--------testLogHandler.py(795B)
--------__init__.py(360B)
--------testWebRequest.py(748B)
--------testGetFreeProxy.py(1KB)
--------testGetConfig.py(805B)
----ProxyGetter()
--------__init__.py(343B)
--------getFreeProxy.py(8KB)
----Api()
--------__init__.py(360B)
--------ProxyApi.py(2KB)
----DB()
--------SsdbClient.py(3KB)
--------__init__.py(341B)
--------DbClient.py(3KB)
--------RedisClient.py(3KB)
--------MongodbClient.py(2KB)
----Run()
--------main.py(1004B)
----Schedule()
--------ProxyValidSchedule.py(2KB)
--------ProxyCheck.py(2KB)
--------__init__.py(361B)
--------ProxyRefreshSchedule.py(3KB)

网友评论