Python_xici_proxy:抓取西刺代理IP

时间:2021-05-18 14:19:50
【文件属性】:
文件名称:Python_xici_proxy:抓取西刺代理IP
文件大小:578KB
文件格式:ZIP
更新时间:2021-05-18 14:19:50
JavaScript Python_xici_proxy 抓取西刺代理IP 【问题描述】 使用 scrapy 框架爬取网上的免费代理IP网站如:西刺代理、快代理 等,抓取页面上的 IP,保存其 地址、端口、地区、代理类型 等信息到 mongodb 中,如下图所示: 地址 端口 地区 类型 12.23.34.45 80 上海 高匿 然后在存储的数据中提取出端口信息,结合 echarts 做出端口分布图
【文件预览】:
Python_xici_proxy-master
----.DS_Store(6KB)
----.gitattributes(66B)
----scrapy.cfg(253B)
----proxy()
--------settings.py(4KB)
--------proxy.html(1KB)
--------pipelines.py(1KB)
--------middlewares.py(4KB)
--------__init__.py(0B)
--------items.py(392B)
--------__pycache__()
--------data process.py(936B)
--------spiders()
--------echarts.js(2.64MB)
----.idea()
--------proxy.iml(467B)
--------workspace.xml(20KB)
--------modules.xml(262B)
----README.md(422B)

网友评论