最近在用php做网站抓取，使用的是CURL。但是数据抓取的效率太低，分析了一下发现：网速问题最大的瓶颈，但这个我无能为力；但是后来我发现，其实除了网速，提高代码内部执行的效率也很重要。
举例说明吧，先来看看我最原始的代码：
<?php
$s=gettime();
$url="http://localhost/index.html";
for($i=1;$i<=10000;$i++){
gethtml($url);
}
$e=gettime();
echo $e-$s."/n";
function gethtml($url){
$ch=curl_init($url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$html=curl_exec($ch);
curl_close($ch);
return $html;
}
function gettime(){
list($sec,$usec)=explode(" ",microtime());
return $sec+$usec;
}
?>
为了取消网速的影响，所以抓取的页面改成本地，index.html文件内空为空。
上面代码执行时间最短是3秒，最长的一次是30秒，不过总体来说还是3秒的时候比较多。
后来我对代码优化了一下，将curl的声明放到了循环的外面，如下：
<?php
$s=gettime();
$url="http://localhost/index.html";
$ch=curl_init($url);
for($i=1;$i<=10000;$i++){
gethtml($url,$ch);
}
curl_close($ch);
$e=gettime();
echo $e-$s."/n";
function gethtml($url,$ch){
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$html=curl_exec($ch);
return $html;
}
function gettime(){
list($sec,$usec)=explode(" ",microtime());
return $sec+$usec;
}
?>
这样修改以后，代码的执行时间基本在1.5秒左右，相对于第一段代码，效率提高了一倍。
为了做个对比，说明是函数调用还是循环内初始化curl浪费了时间，所以对上面代码作了如下修改：
<?php
$s=gettime();
$url="http://localhost/index.html";
for($i=1;$i<=10000;$i++){
$ch=curl_init($url);
gethtml($url,$ch);
curl_close($ch);
}
$e=gettime();
echo $e-$s."/n";
function gethtml($url,$ch){
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$html=curl_exec($ch);
return $html;
}
function gettime(){
list($sec,$usec)=explode(" ",microtime());
return $sec+$usec;
}
?>
上面代码与第一段代码效率没有太大差别，最短为3秒，最长我见过33秒，以3秒左右居多。
由此可见，在循环体内的函数调用并不会影响代码的执行效率。
但是在循环内声明变量、初始化变量，特别是初始化大型的变量／对象／资源（如curl,mysql等），会很大程序上影响代码的执行效率。