关于网络爬虫效率的有关问题

WBOY
發布: 2016-06-13 13:26:36
原創
1008 人瀏覽過

关于网络爬虫效率的问题
我自己写的一个网络爬虫,提取一个网站中的链接,但是运行起来特别的慢,而且一段时间后会出现网络问题,我的另外一个对链接的处理的程序就没有问题,二者都是串行的,求帮助,谢谢
下面的代码:

PHP code
<!--

Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.CodeHighlighter.com/

--><?PHP //网络爬虫
include_once('Snoopy.class.php');

$spider = new Snoopy();
$spider->begin_url="http://blog.csdn.net/";

_spider($spider->begin_url);
print_r($spider->array_article);

function _spider($url){

    global $spider;

   $file="url.txt";
   $fp=fopen($file,"a+");
   $array_file=file($file);

    $array = get_headers($url,1);
   if(preg_match('/200/',$array[0])){//判断网页是否能正常访问

    $spider->fetch($url);   //抓取完整的网页
    $spider->spider_text=$spider->results;

    $spider->fetchlinks($url);  //提取网页中的链接
    $array_links=$spider->results;

     $array_url=array();  //定义一个放url的数组,如果有重复的则舍弃,不重复的就添加
     if(is_array($array_links)){
           foreach($array_links as $value){
               $is_match=strstr($value,'blog.csdn.net');   
               $is_match1=strstr($value,'#'); 
               $is_match2=strstr($value,'@');
        
               if($is_match!=false&&$is_match1==false&&$is_match2==false){        //如果链接是这个博客站的,导入文本中,否则不进行处理
                     $arr=explode(" ",$value);
                     $_value=$arr[0];

                if(in_array($_value,$array_url)==false){
                      $array_url[]=$_value;
                     }
        
        }
    }  
}

//print_r($array_url);
    
    foreach($array_url as $value2){
            $array2 = get_headers($value2,1);
           if(preg_match('/200/',$array2[0])){


        $is_match=strstr($value2,'/article/details/');
        
        if($is_match!=false){
            if(in_array($value2,$spider->array_article)==false){
                static $num=1;
                echo $num."...:".$value2."<br>";
                $num=$num+1;
                $_value2=$value2."\r\n";
            
            if(in_array($value2,$array_file)==false){
                $spider->array_article[]=$value2;
            fwrite($fp,$_value2);
            }

            if(count($spider->array_article)>10000){
                break;
            
            }

        }
        }    
                             else{
                              if(in_array($value2,$spider->array_category)==false){
                                  $spider->array_category[]=$value2;
                                  _spider($value2);
                                           }
        
                                   }    
    }
}    
}
}

//echo get_magic_quotes_gpc();

    
?>
登入後複製


------解决方案--------------------
这个我推荐用curl...
相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!