采集网页被封IP怎么解决?

时间:2023-01-15 16:56:00
   for i:=0 to 300 do
   begin
       try
          strtmp:=IdHTTP1.Get('http://www.douban.com/?search_text='+trim(lv1.Items[i].SubItems[0]));

       Except  
       end;
       
       sleep(1000);//1秒
   end;

这段代码。是循环进行采集某个网站的信息,单个采集一直没有问题。
一旦数量大了之后,出现ip被封的现象。
“  HTTP/1.1 403 Forbidden ”



不要和我说更换IP ,有什么解决办法?

7 个解决方案

#1


用代理服务器

#2


请2楼能不能示范详细一点,如何用代理服务器。

#3


什么IP用多了都是被封的命……你把间隔时间调长一点试试?

#4


引用 3 楼 gyk120 的回复:
什么IP用多了都是被封的命……你把间隔时间调长一点试试?


你把循环弄得那么快。人家不封你才怪。都这样子搞,你家网站还活不活了?

#5


延时10秒以上吧。

#6


以蜘蛛的名义去采集会不会好一些?

#7


引用 6 楼 lhylhy 的回复:
以蜘蛛的名义去采集会不会好一些?

以蜘蛛的名义,代码示范一下,可以吗?

#1


用代理服务器

#2


请2楼能不能示范详细一点,如何用代理服务器。

#3


什么IP用多了都是被封的命……你把间隔时间调长一点试试?

#4


引用 3 楼 gyk120 的回复:
什么IP用多了都是被封的命……你把间隔时间调长一点试试?


你把循环弄得那么快。人家不封你才怪。都这样子搞,你家网站还活不活了?

#5


延时10秒以上吧。

#6


以蜘蛛的名义去采集会不会好一些?

#7


引用 6 楼 lhylhy 的回复:
以蜘蛛的名义去采集会不会好一些?

以蜘蛛的名义,代码示范一下,可以吗?