当我们需要采集网络上的某个网页内容时,如果目标网站上的图片做了防盗链的话,我们直接采集过来的图片在自己网站上是不可用的。那么我们使用程序将目标网站上的图片下载到我们网站服务器上,然后就可调用图片了。
本文将使用PHP实现采集远程图片功能。基本流程: 1、获取目标网站图片地址。 2、读取图片内容。 3、创建要保存图片的路径并命名图片名称。 4、写入图片内容。 5、完成。 我们通过写几个函数来实现这一过程。 函数make_dir()建立目录。判断要保存的图片文件目录是否存在,如果不存在则创建目录,并且将目录设置为可写权限。 function make_dir($path){ if(!file_exists($path)){//不存在则建立 $mk=@mkdir($path,0777); //权限 @chmod($path,0777); } return true; } 函数read_filetext()取得图片内容。使用fopen打开图片文件,然后fread读取图片文件内容。 function read_filetext($filepath){ $filepath=trim($filepath); $htmlfp=@fopen($filepath,"r"); //远程 if(strstr($filepath,"://")){ while($data=@fread($htmlfp,500000)){ $string.=$data; } } //本地 else{ $string=@fread($htmlfp,@filesize($filepath)); } @fclose($htmlfp); return $string; } 函数write_filetext()写文件,将图片内容fputs写入文件中,即保存图片文件。 function write_filetext($filepath,$string){ //$string=stripSlashes($string); $fp=@fopen($filepath,"w"); @fputs($fp,$string); @fclose($fp); } 函数get_filename()获取图片名称,也可以自定义要保存的文件名。 function get_filename($filepath){ $fr=explode("/",$filepath); $count=count($fr)-1; return $fr[$count]; } 然后将几个函数组合,在函数save_pic()中调用,最后返回保存后的图片路径。 function save_pic($url,$savepath=''){ //处理地址 $url=trim($url); $url=str_replace(" ","%20",$url); //读文件 $string=read_filetext($url); if(empty($string)){ echo '读取不了文件';exit; } //文件名 $filename = get_filename($url); //存放目录 make_dir($savepath); //建立存放目录 //文件地址 $filepath = $savepath.$filename; //写文件 write_filetext($filepath,$string); return $filepath; } 最后一步就是调用save_pic()函数保存图片,我们使用以下代码做测试。 //目标图片地址 $pic = "/program/UploadPic/2013-4/201343155341353.jpg"; //保存目录 $savepath = "images/"; echo save_pic($pic,$savepath); 实际应用中,我们可能会采集某个站点的内容,比如产品信息,包括采集防盗链的图片保存到网站上服务器上。这时我们可以使用正则匹配页面内容,将页面中相匹配的图片都找出来,然后分别下载到网站服务器上,完成图片的采集。以下代码仅供测试: function get_pic($cont,$path){ $pattern_src = '//'; $num = preg_match_all($pattern_src, $cont, $match_src); $pic_arr = $match_src[1]; //获得图片数组 foreach ($pic_arr as $pic_item) { //循环取出每幅图的地址 save_pic($pic_item,$path); //下载并保存图片 echo "[OK]..!"; } } 然后我们通过分析页面内容,将主体内容找出来,调用get_pic()实现图片的保存。 //我们采集太平洋电脑网上一篇关于手机报道内容页的图片$url = "http://gz.pconline.com.cn/321/3215791.html"; $content = file_get_contents($url);//获取网页内容 $preg = '#<div>(.*)<div></div>#iUs'; preg_match_all($preg, $content, $arr); $cont = $arr[1][0]; get_pic($cont,'img/'); 以上代码笔者亲测,可以采集图片,但是还有些场景没考虑进去,比如目标网站做了302多次跳转的,目标网站做了多种防采集的,留给喜欢折腾的同学去试试吧。 <p align="left"></p> <div style="display:none;"> <span id="url" itemprop="url">http://www.bkjia.com/PHPjc/371938.html</span><span id="indexUrl" itemprop="indexUrl">www.bkjia.com</span><span id="isOriginal" itemprop="isOriginal">true</span><span id="isBasedOnUrl" itemprop="isBasedOnUrl">http://www.bkjia.com/PHPjc/371938.html</span><span id="genre" itemprop="genre">TechArticle</span><span id="description" itemprop="description">当我们需要采集网络上的某个网页内容时,如果目标网站上的图片做了防盗链的话,我们直接采集过来的图片在自己网站上是不可用的。那...</span> </div> </div> <div class="art_confoot"></div>