文件名称：ipool:提供公开代理ip的抓取，以及代理的后台api，以及代理管理页面
文件大小：1.39MB
文件格式：ZIP
更新时间：2024-06-12 12:11:23
Ruby
ipool 提供公开代理ip的抓取，以及代理的管理后台，以及代理的展示后台。 目前是使用scrapy来抓取 ，上的公开代理，使用flask来管理抓取到的代理，以及对其它爬虫提供代理服务，使用react + flux来管理代理的后台页面。 但正在做迁移，代理后台决定由flask改版为rails，开发进行中。 对网络上公开代理的网站进行抓取，提取公开代理供自己使用，目前抓取了 ， 后续估计会增加新的抓取站点如usproxy。 使用和, 以及 和提供的api服务，进行网页展示和用户交互 目前正常工作的版本使用的是, 但正在将代码改版为rails 主要会碰到的问题 代理的质量不好，应该通过购买私人ip，或者抓取更多的公开代理，甚至利用本机的外网ip 判定一个代理是否还可用, 有时候一个代理只是临时不可用，也许1个小时候，就又回复正常了，而我们可能会永久封禁它 代理的选择策略，如一直选择成功率最高的