文件名称：spoon::spoon:用于为不同站点构建特定代理池的软件包
文件大小：52KB
文件格式：ZIP
更新时间：2024-05-24 01:51:11
python redis crawler spider proxy
Spoon-用于为不同站点构建特定代理池的软件包。 Spoon是一个库，用于为您分配的每个不同站点构建分布式代理池。 仅在python 3上运行。 安装 只需运行： pip install spoonproxy或克隆存储库并将其设置到您的PYTHONPATH中。 跑步 勺子服务器 请确保Redis正在运行。 默认配置为“主机：本地主机，端口：6379”。 您还可以修改Redis连接。 就像spoon_server/example example.py一样， 您可以分配许多不同的代理提供程序。 from spoon_server . proxy . fetcher import Fetcher from spoon_server . main . proxy_pipe import ProxyPipe from spoon_server . proxy . kuai_provider i
【文件预览】：
spoon-master
----_config.yml(26B)
----.gitignore(83B)
----README.md(7KB)
----build.sh(109B)
----test()
--------unit()
--------__init__.py(0B)
----__init__.py(0B)
----requirements.txt(106B)
----spoon_server()
--------main()
--------database()
--------forward()
--------__init__.py(0B)
--------example()
--------proxy()
--------browser()
--------util()
----setup.py(916B)
----spoon_web()
--------manage.py(803B)
--------api()
--------spoon()