文件名称:proxycrawl-python:用于抓取和抓取的 ProxyCrawl Python 库
文件大小:11KB
文件格式:ZIP
更新时间:2024-06-18 18:49:14
python crawler scraper scraping crawling
ProxyCrawl API Python 类 一个轻量级、无依赖的 Python 类,充当 ProxyCrawl API 的包装器。 安装 选择一种安装方式: 从 Github 下载 python 类。 或者使用 Python 包管理器。 pip install proxycrawl 然后根据需要导入 CrawlingAPI、ScraperAPI 等。 from proxycrawl import CrawlingAPI , ScraperAPI , LeadsAPI 升级到版本 3 版本 3 不赞成使用 ProxyCrawlAPI,而支持 CrawlingAPI(尽管仍然可用)。 请在部署到生产之前测试升级。 爬取API 首先初始化CrawlingAPI类。 api = CrawlingAPI ({ 'token' : 'YOUR_PROXYCRAWL_TOKEN'
【文件预览】:
proxycrawl-python-master
----setup.py(1KB)
----.gitignore(37B)
----proxycrawl()
--------crawling_api.py(796B)
--------__init__.py(214B)
--------proxycrawl_api.py(171B)
--------scraper_api.py(525B)
--------leads_api.py(437B)
--------base_api.py(4KB)
----LICENSE(11KB)
----README.md(4KB)
----test.py(1KB)