社区
学习
工具库
AI工具
休闲
搜索
简体中文
目录
使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数
首页 后端开发 php教程 使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数_PHP教程

使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数_PHP教程

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
Jul 13, 2016 am 10:01 AM
c content curl file get 使用 函数 和 图片 对比 性能 的 系列 采集

使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数

　　由于公司的一个汽车网站的后台的汽车内容都是主要是来自与汽车之家的，编辑的同事们必须天天手动去对着汽车之家来添加汽车，实在是太蛋疼了。于是乎，为了改变这种状况，作为一个开发码农，我的任务就来了。。。那就是准备做一个功能，只要粘贴对应的汽车之家的网址url就能对这些数据进行自动填充到我们后台的表单中，目前基本的填充都实现了，但是还是没有能够把对应的汽车相册采集进来。

　　采集图片的功能我以前也做过，但是汽车之家大部分的汽车都有挺多图片的，开始的时候，我打算使用以前的采集图片的办法，也就是使用file_get_content获取url对应的内容，然后匹配到图片的地址，再使用file_get_content获取这些图片url的内容，再载入到本地去，代码如下：

<?<span>php
</span><span>header</span>('Content-type:text/html;charset=utf-8'<span>);
</span><span>set_time_limit</span>(0<span>);

</span><span>class</span><span> runtime  
{  
    </span><span>var</span> <span>$StartTime</span> = 0<span>;  
    </span><span>var</span> <span>$StopTime</span> = 0<span>;  
   
    </span><span>function</span><span> get_microtime()  
    {  
        </span><span>list</span>(<span>$usec</span>, <span>$sec</span>) = <span>explode</span>(' ', <span>microtime</span><span>());  
        </span><span>return</span> ((<span>float</span>)<span>$usec</span> + (<span>float</span>)<span>$sec</span><span>);  
    }  
   
    </span><span>function</span><span> start()  
    {  
        </span><span>$this</span>->StartTime = <span>$this</span>-><span>get_microtime();  
    }  
   
    </span><span>function</span><span> stop()  
    {  
        </span><span>$this</span>->StopTime = <span>$this</span>-><span>get_microtime();  
    }  
   
    </span><span>function</span><span> spent()  
    {  
        </span><span>return</span> <span>round</span>((<span>$this</span>->StopTime - <span>$this</span>->StartTime) * 1000, 1<span>);  
    }  
   
}  

</span><span>$runtime</span>= <span>new</span><span> runtime();  
</span><span>$runtime</span>-><span>start();  

</span><span>$url</span> = 'http://car.autohome.com.cn/pic/series-s15306/289.html#pvareaid=102177'<span>;
</span><span>$rs</span> = <span>file_get_contents</span>(<span>$url</span><span>);
</span><span>//</span><span> echo $rs;exit;</span>
<span>preg_match_all</span>('/(\/pic\/series-s15306\/289-\d+\.html)/', <span>$rs</span>, <span>$urlArr</span><span>);

</span><span>$avalie</span> = <span>array_unique</span>(<span>$urlArr</span>[0<span>]);
</span><span>$count</span> = <span>array</span><span>();
</span><span>foreach</span> (<span>$avalie</span> <span>as</span> <span>$key</span> => <span>$ul</span><span>) {
   </span><span>$pattern</span> = '/<img  src="/static/imghw/default1.png"  data-src="(http:\/\/car1\.autoimg\.cn\/upload\/\d+\/\d+\/\d+\/.*?\.jpg)"  class="lazy"/'<span alt="使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数_PHP教程" >;
   </span><span>preg_match_all</span>(<span>$pattern</span>, <span>file_get_contents</span>('http://car.autohome.com.cn'.<span>$ul</span>), <span>$imgSrc</span><span>);
   </span><span>$count</span> = <span>array_merge</span>(<span>$count</span>, <span>$imgSrc</span>[1<span>]);
}


</span><span>foreach</span>(<span>$count</span> <span>as</span> <span>$k</span>=><span>$v</span><span>) {
  </span><span>$data</span>[<span>$k</span>] = <span>file_get_contents</span>(<span>$v</span><span>);
}

</span><span>foreach</span>(<span>$data</span> <span>as</span> <span>$k</span>=><span>$v</span><span>) {
  </span><span>file_put_contents</span>('./pic2/'.<span>time</span>().'_'.<span>rand</span>(1, 10000).'.jpg', <span>$v</span><span>);
}

</span><span>$runtime</span>-><span>stop();  
</span><span>echo</span> "页面执行时间: ".<span>$runtime</span>->spent()." 毫秒";
登录后复制

　　结果发现，这种方法少图片还好，图片多了，那是相当的卡。。就本地测试也比较难跑，更不如说到时候上线了。百度之后，我采用了curl的办法来下载图片，经过测试后的确有所改善，但是感觉还是有点慢，要是php有多线程那有多好。。。

　　又经过一番折腾和找资料，发现php的curl库其实还是可以模拟多线程的，那就是使用curl_multi_*系列的函数，经过改写，代码又变成了这样：

　　

<?<span>php
</span><span>header</span>('Content-type:text/html;charset=utf-8'<span>);
</span><span>set_time_limit</span>(0<span>);

</span><span>class</span><span> runtime  
{  
    </span><span>var</span> <span>$StartTime</span> = 0<span>;  
    </span><span>var</span> <span>$StopTime</span> = 0<span>;  
   
    </span><span>function</span><span> get_microtime()  
    {  
        </span><span>list</span>(<span>$usec</span>, <span>$sec</span>) = <span>explode</span>(' ', <span>microtime</span><span>());  
        </span><span>return</span> ((<span>float</span>)<span>$usec</span> + (<span>float</span>)<span>$sec</span><span>);  
    }  
   
    </span><span>function</span><span> start()  
    {  
        </span><span>$this</span>->StartTime = <span>$this</span>-><span>get_microtime();  
    }  
   
    </span><span>function</span><span> stop()  
    {  
        </span><span>$this</span>->StopTime = <span>$this</span>-><span>get_microtime();  
    }  
   
    </span><span>function</span><span> spent()  
    {  
        </span><span>return</span> <span>round</span>((<span>$this</span>->StopTime - <span>$this</span>->StartTime) * 1000, 1<span>);  
    }  
   
}  

</span><span>$runtime</span>= <span>new</span><span> runtime();  
</span><span>$runtime</span>-><span>start();  


</span><span>$url</span> = 'http://car.autohome.com.cn/pic/series-s15306/289.html#pvareaid=102177'<span>;
</span><span>$rs</span> = <span>file_get_contents</span>(<span>$url</span><span>);
</span><span>preg_match_all</span>('/(\/pic\/series-s15306\/289-\d+\.html)/', <span>$rs</span>, <span>$urlArr</span><span>);

</span><span>$avalie</span> = <span>array_unique</span>(<span>$urlArr</span>[0<span>]);
</span><span>$count</span> = <span>array</span><span>();
</span><span>foreach</span> (<span>$avalie</span> <span>as</span> <span>$key</span> => <span>$ul</span><span>) {
   </span><span>$pattern</span> = '/<img  src="/static/imghw/default1.png"  data-src="(http:\/\/car1\.autoimg\.cn\/upload\/\d+\/\d+\/\d+\/.*?\.jpg)"  class="lazy"/'<span alt="使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数_PHP教程" >;
   </span><span>preg_match_all</span>(<span>$pattern</span>, <span>file_get_contents</span>('http://car.autohome.com.cn'.<span>$ul</span>), <span>$imgSrc</span><span>);
   </span><span>$count</span> = <span>array_merge</span>(<span>$count</span>, <span>$imgSrc</span>[1<span>]);
}

</span><span>$handle</span> =<span> curl_multi_init();

</span><span>foreach</span>(<span>$count</span> <span>as</span> <span>$k</span> => <span>$v</span><span>) {
  </span><span>$curl</span>[<span>$k</span>] = curl_init(<span>$v</span><span>);
  curl_setopt(</span><span>$curl</span>[<span>$k</span>], CURLOPT_RETURNTRANSFER, 1<span>);
  curl_setopt(</span><span>$curl</span>[<span>$k</span>], CURLOPT_HEADER, 0<span>);
  curl_setopt(</span><span>$curl</span>[<span>$k</span>], CURLOPT_TIMEOUT, 30<span>);
  curl_multi_add_handle (</span><span>$handle</span>, <span>$curl</span>[<span>$k</span><span>]);
}

</span><span>$active</span> = <span>null</span><span>;

</span><span>do</span><span> {
    </span><span>$mrc</span> = curl_multi_exec(<span>$handle</span>, <span>$active</span><span>);
} </span><span>while</span> (<span>$mrc</span> ==<span> CURLM_CALL_MULTI_PERFORM);

</span><span>while</span> (<span>$active</span> && <span>$mrc</span> ==<span> CURLM_OK) {
    // 这句在php5.3以后的版本很关键，因为没有这句，可能curl_multi_select可能会永远返回-1，这样就永远死在循环里了
    </span><span>while</span> (curl_multi_exec(<span>$handle</span>, <span>$active</span>) ===<span> CURLM_CALL_MULTI_PERFORM);

    </span><span>if</span> (curl_multi_select(<span>$handle</span>) != -1<span>) {
        </span><span>do</span><span> {
            </span><span>$mrc</span> = curl_multi_exec(<span>$handle</span>, <span>$active</span><span>);
        } </span><span>while</span> (<span>$mrc</span> ==<span> CURLM_CALL_MULTI_PERFORM);
    }
}

</span><span>foreach</span> (<span>$curl</span> <span>as</span> <span>$k</span> => <span>$v</span><span>) {
    </span><span>if</span> (curl_error(<span>$curl</span>[<span>$k</span>]) == ""<span>) {
        </span><span>$data</span>[<span>$k</span>] = curl_multi_getcontent(<span>$curl</span>[<span>$k</span><span>]);
    }
    curl_multi_remove_handle(</span><span>$handle</span>, <span>$curl</span>[<span>$k</span><span>]);
    curl_close(</span><span>$curl</span>[<span>$k</span><span>]);
}

</span><span>foreach</span>(<span>$data</span> <span>as</span> <span>$k</span>=><span>$v</span><span>) {
    </span><span>$file</span> = <span>time</span>().'_'.<span>rand</span>(1000, 9999).'.jpg'<span>;
    </span><span>file_put_contents</span>('./pic3/'.<span>$file</span>, <span>$v</span><span>); 
}

curl_multi_close(</span><span>$handle</span><span>);

</span><span>$runtime</span>-><span>stop();  
</span><span>echo</span> "页面执行时间: ".<span>$runtime</span>->spent()." 毫秒";
登录后复制

　　好了，多线程的采集真是非常酸爽，然后通过一系列的测试和对比，5次测试，curl多线程有4次是快于file_get_content的，而且时间还是file_get_content的3～5倍，总结起来，以后采集都尽量使用这种办法，提高效率不在话下。

www.bkjia.comtruehttp://www.bkjia.com/PHPjc/971771.htmlTechArticle使用file_get_content系列函数和使用curl系列函数采集图片的性能对比，curl函数 由于公司的一个汽车网站的后台的汽车内容都是主要是来自与汽...
本站声明
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序，用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸！

显示更多

热门文章

刺客信条阴影：贝壳谜语解决方案
4 周前 By DDD
Windows 11 KB5054979中的新功能以及如何解决更新问题
3 周前 By DDD
在哪里可以找到原子中的起重机控制钥匙卡
4 周前 By DDD
<🎜>：死铁路 - 如何完成所有挑战
1 个月前 By DDD
Atomfall指南：项目位置，任务指南和技巧
1 个月前 By DDD
显示更多

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版，非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

显示更多

热门话题

gmail邮箱登陆入口在哪里
7695
15
Java教程
1640
14
CakePHP 教程
1393
52
Laravel 教程
1287
25
PHP教程
1229
29
显示更多
Related knowledge
小米 15 系列全代号曝光：Dada、Haotian、Xuanyuan 小米 15 系列全代号曝光：Dada、Haotian、Xuanyuan Aug 22, 2024 pm 06:47 PM

小米15系列预计将于10月份正式发布，其全系列代号已在外媒MiCode代码库中曝光。其中，旗舰级小米15Ultra代号为"Xuanyuan"（意为"轩辕"），此名源自中国神话中的黄帝，象征着尊贵。小米15的代号为"Dada"，而小米15Pro则以"Haotian"（意为"昊天"）为名。小米15SPro内部代号为"dijun"，暗指《山海经》创世神帝俊。小米15Ultra系列涵盖

不同Java框架的性能对比 不同Java框架的性能对比 Jun 05, 2024 pm 07:14 PM

不同Java框架的性能对比：RESTAPI请求处理：Vert.x最佳，请求速率达SpringBoot2倍，Dropwizard3倍。数据库查询：SpringBoot的HibernateORM优于Vert.x及Dropwizard的ORM。缓存操作：Vert.x的Hazelcast客户机优于SpringBoot及Dropwizard的缓存机制。合适框架：根据应用需求选择，Vert.x适用于高性能Web服务，SpringBoot适用于数据密集型应用，Dropwizard适用于微服务架构。

excel函数公式大全 excel函数公式大全 May 07, 2024 pm 12:04 PM

1、 SUM函数，用于对一列或一组单元格中的数字进行求和，例如：=SUM(A1:J10)。2、AVERAGE函数，用于计算一列或一组单元格中的数字的平均值，例如：=AVERAGE(A1:A10)。3、COUNT函数，用于计算一列或一组单元格中的数字或文本的数量，例如：=COUNT(A1:A10)4、IF函数，用于根据指定的条件进行逻辑判断，并返回相应的结果。

华为 Mate 60 系列最佳入手时机，新增 AI 消除 + 影像升级，更可享秋日礼遇活动 华为 Mate 60 系列最佳入手时机，新增 AI 消除 + 影像升级，更可享秋日礼遇活动 Aug 29, 2024 pm 03:33 PM

自去年华为Mate60系列开售以来，我个人就一直将Mate60Pro作为主力机使用。在将近一年的时间里，华为Mate60Pro经过多次OTA升级，综合体验有了显着提升，给人一种常用常新的感觉。比如近期，华为Mate60系列就再度迎来了影像功能的重磅升级。首先是新增AI消除功能，可以智能消除路人、杂物并对空白部分进行自动补充；其次是主摄色准、长焦清晰度均有明显升级。考虑到现在是开学季，华为Mate60系列还推出了秋日礼遇活动：购机可享至高800元优惠，入手价低至4999元。常用常新的产品力加上超值

C++中如何优化多线程程序的性能？ C++中如何优化多线程程序的性能？ Jun 05, 2024 pm 02:04 PM

优化C++多线程性能的有效技术包括：限制线程数量，避免争用资源。使用轻量级互斥锁，减少争用。优化锁的范围，最小化等待时间。采用无锁数据结构，提高并发性。避免忙等，通过事件通知线程资源可用性。

什么是Bitget Launchpool？如何使用Bitget Launchpool？ 什么是Bitget Launchpool？如何使用Bitget Launchpool？ Jun 07, 2024 pm 12:06 PM

BitgetLaunchpool是一个为所有加密货币爱好者而设计的动态平台。BitgetLaunchpool以其独特的产品脱颖而出。在这里，您可以质押您的代币来解锁更多奖励，包括空投、高额回报，以及专属早期参与者的丰厚奖池。什么是BitgetLaunchpool？BitgetLaunchpool是一个加密货币平台，可以透过用户友善的条款和条件来质押和赚取代币。透过在Launchpool中投入BGB或其他代币，用户有机会获得免费空投、收益和参与丰厚的奖金池。质押资产的收益在T+1小时内计算，奖励按

Golang 函数接收 map 参数时的注意事项 Golang 函数接收 map 参数时的注意事项 Jun 04, 2024 am 10:31 AM

在Go中传递map给函数时，默认会创建副本，对副本的修改不影响原map。如果需要修改原始map，可通过指针传递。空map需小心处理，因为技术上是nil指针，传递空map给期望非空map的函数会发生错误。

C++与其他语言的性能比较 C++与其他语言的性能比较 Jun 01, 2024 pm 10:04 PM

在开发高性能应用程序时，C++的性能优于其他语言，尤其在微基准测试中。在宏基准测试中，其他语言如Java和C#的便利性和优化机制可能表现更好。在实战案例中，C++在图像处理、数值计算和游戏开发中表现出色，其对内存管理和硬件访问的直接控制带来明显的性能优势。

See all articles