为什么我这段curl采集,单线程比多线程还快?
我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.
是我的写法又问题吗?
<code>$images = [
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
];
</code>这个是单线程的函数:
<code>function getImg($url = "", $filename = "")
{
$ch = curl_init ();
$opt [CURLOPT_URL] = $url;
$opt [CURLOPT_HEADER] = true;
$opt [CURLOPT_CONNECTTIMEOUT] = 10;
$opt [CURLOPT_TIMEOUT] = 60;
$opt [CURLOPT_AUTOREFERER] = true;
$opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
$opt [CURLOPT_RETURNTRANSFER] = true;
// $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
// $opt [CURLOPT_MAXREDIRS] = 10;
curl_setopt_array ( $ch, $opt );
$r = curl_exec ( $ch );
if (false === $r) {
$errno = curl_errno ( $ch );
$err = curl_error ( $ch );
curl_close ( $ch );
return false;
}
// 鉴定一下header:200 才写入文件
$header = explode("\r\n\r\n", $r);
if (strpos($header[0], 'HTTP/1.1 200') === 0) {
file_put_contents($filename, $header[1]);
}
curl_close ( $ch );
return true;
}
</code>又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:
<code>// 多线程采集数据
function getImgMulti($url=[] , $filename=[]){
// 创建批处理cURL句柄
$mh = curl_multi_init();
// 这里可以加n=10个线程
foreach ($url as $k => $v ) {
$ch[$k] = curl_init();
$opt [CURLOPT_URL] = $v;
$opt [CURLOPT_HEADER] = true;
$opt [CURLOPT_CONNECTTIMEOUT] = 10;
$opt [CURLOPT_TIMEOUT] = 60;
$opt [CURLOPT_AUTOREFERER] = true;
$opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
$opt [CURLOPT_RETURNTRANSFER] = true;
// $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
// $opt [CURLOPT_MAXREDIRS] = 10;
curl_setopt_array ( $ch[$k], $opt );
// 增加1个句柄
curl_multi_add_handle($mh,$ch[$k]);
}
$running=null;
// 执行批处理句柄
do {
curl_multi_exec($mh,$running);
} while($running > 0);
for ($i=0; $i </code>执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.
可能是我对这个函数的用法没弄透,请哪位来解释下原因?
----后续补充----
我在windows上面测试的,难道说因为win的php多线程有别的问题?
另外还参考了别人写好的php类
http://blog.eiodesign.com/archives/86
用这个类库又做了一遍采集,结果还是一样,更慢了
<code>// 测试库采集
require("libs/class_curl_multi.php");
$mp = new MultiHttpRequest();
//远程图片本地化
$mp->set_urls($images);
$images_result = $mp->start();
foreach ((array)$images_result as $image_key => $image_value) {
if (!empty($image_key)) {
_flush("store image:".$image_key."<br>");
file_put_contents('pics/'.$image_key.'.jpg',$image_value);
}
}
</code>用时4.05秒
是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.
回复内容：
我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.
是我的写法又问题吗?
<code>$images = [
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg",
"http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
];
</code>这个是单线程的函数:
<code>function getImg($url = "", $filename = "")
{
$ch = curl_init ();
$opt [CURLOPT_URL] = $url;
$opt [CURLOPT_HEADER] = true;
$opt [CURLOPT_CONNECTTIMEOUT] = 10;
$opt [CURLOPT_TIMEOUT] = 60;
$opt [CURLOPT_AUTOREFERER] = true;
$opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
$opt [CURLOPT_RETURNTRANSFER] = true;
// $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
// $opt [CURLOPT_MAXREDIRS] = 10;
curl_setopt_array ( $ch, $opt );
$r = curl_exec ( $ch );
if (false === $r) {
$errno = curl_errno ( $ch );
$err = curl_error ( $ch );
curl_close ( $ch );
return false;
}
// 鉴定一下header:200 才写入文件
$header = explode("\r\n\r\n", $r);
if (strpos($header[0], 'HTTP/1.1 200') === 0) {
file_put_contents($filename, $header[1]);
}
curl_close ( $ch );
return true;
}
</code>又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:
<code>// 多线程采集数据
function getImgMulti($url=[] , $filename=[]){
// 创建批处理cURL句柄
$mh = curl_multi_init();
// 这里可以加n=10个线程
foreach ($url as $k => $v ) {
$ch[$k] = curl_init();
$opt [CURLOPT_URL] = $v;
$opt [CURLOPT_HEADER] = true;
$opt [CURLOPT_CONNECTTIMEOUT] = 10;
$opt [CURLOPT_TIMEOUT] = 60;
$opt [CURLOPT_AUTOREFERER] = true;
$opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
$opt [CURLOPT_RETURNTRANSFER] = true;
// $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
// $opt [CURLOPT_MAXREDIRS] = 10;
curl_setopt_array ( $ch[$k], $opt );
// 增加1个句柄
curl_multi_add_handle($mh,$ch[$k]);
}
$running=null;
// 执行批处理句柄
do {
curl_multi_exec($mh,$running);
} while($running > 0);
for ($i=0; $i </code>执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.
可能是我对这个函数的用法没弄透,请哪位来解释下原因?
----后续补充----
我在windows上面测试的,难道说因为win的php多线程有别的问题?
另外还参考了别人写好的php类
http://blog.eiodesign.com/archives/86
用这个类库又做了一遍采集,结果还是一样,更慢了
<code>// 测试库采集
require("libs/class_curl_multi.php");
$mp = new MultiHttpRequest();
//远程图片本地化
$mp->set_urls($images);
$images_result = $mp->start();
foreach ((array)$images_result as $image_key => $image_value) {
if (!empty($image_key)) {
_flush("store image:".$image_key."<br>");
file_put_contents('pics/'.$image_key.'.jpg',$image_value);
}
}
</code>用时4.05秒
是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Configuration du projet CakePHP
Sep 10, 2024 pm 05:25 PM
Dans ce chapitre, nous comprendrons les variables d'environnement, la configuration générale, la configuration de la base de données et la configuration de la messagerie dans CakePHP.
Guide d'installation et de mise à niveau de PHP 8.4 pour Ubuntu et Debian
Dec 24, 2024 pm 04:42 PM
PHP 8.4 apporte plusieurs nouvelles fonctionnalités, améliorations de sécurité et de performances avec une bonne quantité de dépréciations et de suppressions de fonctionnalités. Ce guide explique comment installer PHP 8.4 ou mettre à niveau vers PHP 8.4 sur Ubuntu, Debian ou leurs dérivés. Bien qu'il soit possible de compiler PHP à partir des sources, son installation à partir d'un référentiel APT comme expliqué ci-dessous est souvent plus rapide et plus sécurisée car ces référentiels fourniront les dernières corrections de bogues et mises à jour de sécurité à l'avenir.
Date et heure de CakePHP
Sep 10, 2024 pm 05:27 PM
Pour travailler avec la date et l'heure dans cakephp4, nous allons utiliser la classe FrozenTime disponible.
Téléchargement de fichiers CakePHP
Sep 10, 2024 pm 05:27 PM
Pour travailler sur le téléchargement de fichiers, nous allons utiliser l'assistant de formulaire. Voici un exemple de téléchargement de fichiers.
Routage CakePHP
Sep 10, 2024 pm 05:25 PM
Dans ce chapitre, nous allons apprendre les sujets suivants liés au routage ?
Discuter de CakePHP
Sep 10, 2024 pm 05:28 PM
CakePHP est un framework open source pour PHP. Il vise à faciliter grandement le développement, le déploiement et la maintenance d'applications. CakePHP est basé sur une architecture de type MVC à la fois puissante et facile à appréhender. Modèles, vues et contrôleurs gu
Comment configurer Visual Studio Code (VS Code) pour le développement PHP
Dec 20, 2024 am 11:31 AM
Visual Studio Code, également connu sous le nom de VS Code, est un éditeur de code source gratuit – ou environnement de développement intégré (IDE) – disponible pour tous les principaux systèmes d'exploitation. Avec une large collection d'extensions pour de nombreux langages de programmation, VS Code peut être c
CakePHP créant des validateurs
Sep 10, 2024 pm 05:26 PM
Le validateur peut être créé en ajoutant les deux lignes suivantes dans le contrôleur.
