コミュニティ
学ぶ
ツールライブラリ
AIツール
レジャー
検索
日本語
目次
回复内容：
ホームページ バックエンド開発 PHPチュートリアル 为什么我这段curl采集,单线程比多线程还快?

为什么我这段curl采集,单线程比多线程还快?

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
Jun 06, 2016 pm 08:45 PM
php マルチスレッド化

我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.
是我的写法又问题吗?

<code>$images = [
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
];
</code>
ログイン後にコピー
ログイン後にコピー

这个是单线程的函数:

<code>function getImg($url = "", $filename = "")
{
        $ch = curl_init ();
        $opt [CURLOPT_URL] = $url;
        $opt [CURLOPT_HEADER] = true;
        $opt [CURLOPT_CONNECTTIMEOUT] = 10;
        $opt [CURLOPT_TIMEOUT] = 60;
        $opt [CURLOPT_AUTOREFERER] = true;
        $opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
        $opt [CURLOPT_RETURNTRANSFER] = true;
        // $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
        // $opt [CURLOPT_MAXREDIRS] = 10;
        curl_setopt_array ( $ch, $opt );

        $r = curl_exec ( $ch );
        if (false === $r) {
            $errno = curl_errno ( $ch );
            $err = curl_error ( $ch );
            curl_close ( $ch );
            return false;
        }

        // 鉴定一下header:200 才写入文件
        $header = explode("\r\n\r\n", $r);
        if (strpos($header[0], 'HTTP/1.1 200') === 0) {
            file_put_contents($filename, $header[1]);
        }


        curl_close ( $ch );
        return true;
}
</code>
ログイン後にコピー
ログイン後にコピー

又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:

<code>// 多线程采集数据
function getImgMulti($url=[] , $filename=[]){
    // 创建批处理cURL句柄
    $mh = curl_multi_init();


    // 这里可以加n=10个线程
    foreach ($url as $k => $v ) {
        $ch[$k] = curl_init();

        $opt [CURLOPT_URL] = $v;
        $opt [CURLOPT_HEADER] = true;
        $opt [CURLOPT_CONNECTTIMEOUT] = 10;
        $opt [CURLOPT_TIMEOUT] = 60;
        $opt [CURLOPT_AUTOREFERER] = true;
        $opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
        $opt [CURLOPT_RETURNTRANSFER] = true;
        // $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
        // $opt [CURLOPT_MAXREDIRS] = 10;
        curl_setopt_array ( $ch[$k], $opt );
        // 增加1个句柄
        curl_multi_add_handle($mh,$ch[$k]);
    }





    $running=null;
    // 执行批处理句柄
    do {
        curl_multi_exec($mh,$running);


    } while($running > 0);

    for ($i=0; $i </code>
ログイン後にコピー
ログイン後にコピー

执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.
可能是我对这个函数的用法没弄透,请哪位来解释下原因?

----后续补充----
我在windows上面测试的,难道说因为win的php多线程有别的问题?
另外还参考了别人写好的php类
http://blog.eiodesign.com/archives/86
用这个类库又做了一遍采集,结果还是一样,更慢了

<code>// 测试库采集
require("libs/class_curl_multi.php");
$mp = new MultiHttpRequest();
//远程图片本地化
$mp->set_urls($images);
$images_result = $mp->start();
foreach ((array)$images_result as $image_key => $image_value) {
    if (!empty($image_key)) {
        _flush("store image:".$image_key."<br>");
        file_put_contents('pics/'.$image_key.'.jpg',$image_value);
    }
}
</code>
ログイン後にコピー
ログイン後にコピー

用时4.05秒

是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.

回复内容：

我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.
是我的写法又问题吗?

<code>$images = [
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg",
    "http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg",
];
</code>
ログイン後にコピー
ログイン後にコピー

这个是单线程的函数:

<code>function getImg($url = "", $filename = "")
{
        $ch = curl_init ();
        $opt [CURLOPT_URL] = $url;
        $opt [CURLOPT_HEADER] = true;
        $opt [CURLOPT_CONNECTTIMEOUT] = 10;
        $opt [CURLOPT_TIMEOUT] = 60;
        $opt [CURLOPT_AUTOREFERER] = true;
        $opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
        $opt [CURLOPT_RETURNTRANSFER] = true;
        // $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
        // $opt [CURLOPT_MAXREDIRS] = 10;
        curl_setopt_array ( $ch, $opt );

        $r = curl_exec ( $ch );
        if (false === $r) {
            $errno = curl_errno ( $ch );
            $err = curl_error ( $ch );
            curl_close ( $ch );
            return false;
        }

        // 鉴定一下header:200 才写入文件
        $header = explode("\r\n\r\n", $r);
        if (strpos($header[0], 'HTTP/1.1 200') === 0) {
            file_put_contents($filename, $header[1]);
        }


        curl_close ( $ch );
        return true;
}
</code>
ログイン後にコピー
ログイン後にコピー

又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:

<code>// 多线程采集数据
function getImgMulti($url=[] , $filename=[]){
    // 创建批处理cURL句柄
    $mh = curl_multi_init();


    // 这里可以加n=10个线程
    foreach ($url as $k => $v ) {
        $ch[$k] = curl_init();

        $opt [CURLOPT_URL] = $v;
        $opt [CURLOPT_HEADER] = true;
        $opt [CURLOPT_CONNECTTIMEOUT] = 10;
        $opt [CURLOPT_TIMEOUT] = 60;
        $opt [CURLOPT_AUTOREFERER] = true;
        $opt [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11';
        $opt [CURLOPT_RETURNTRANSFER] = true;
        // $opt [CURLOPT_FOLLOWLOCATION] = true; //跟随重定向
        // $opt [CURLOPT_MAXREDIRS] = 10;
        curl_setopt_array ( $ch[$k], $opt );
        // 增加1个句柄
        curl_multi_add_handle($mh,$ch[$k]);
    }





    $running=null;
    // 执行批处理句柄
    do {
        curl_multi_exec($mh,$running);


    } while($running > 0);

    for ($i=0; $i </code>
ログイン後にコピー
ログイン後にコピー

执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.
可能是我对这个函数的用法没弄透,请哪位来解释下原因?

----后续补充----
我在windows上面测试的,难道说因为win的php多线程有别的问题?
另外还参考了别人写好的php类
http://blog.eiodesign.com/archives/86
用这个类库又做了一遍采集,结果还是一样,更慢了

<code>// 测试库采集
require("libs/class_curl_multi.php");
$mp = new MultiHttpRequest();
//远程图片本地化
$mp->set_urls($images);
$images_result = $mp->start();
foreach ((array)$images_result as $image_key => $image_value) {
    if (!empty($image_key)) {
        _flush("store image:".$image_key."<br>");
        file_put_contents('pics/'.$image_key.'.jpg',$image_value);
    }
}
</code>
ログイン後にコピー
ログイン後にコピー

用时4.05秒

是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

もっと見る

人気の記事

R.E.P.O.説明されたエネルギー結晶と彼らが何をするか（黄色のクリスタル）
2週間前 By 尊渡假赌尊渡假赌尊渡假赌
レポ：チームメイトを復活させる方法
4週間前 By 尊渡假赌尊渡假赌尊渡假赌
ハローキティアイランドアドベンチャー：巨大な種を手に入れる方法
3週間前 By 尊渡假赌尊渡假赌尊渡假赌
スプリットフィクションを打ち負かすのにどれくらい時間がかかりますか？
3週間前 By DDD
R.E.P.O.ファイルの保存場所：それはどこにあり、それを保護する方法は？
3週間前 By DDD
もっと見る

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト（SublimeText3）

もっと見る

ホットトピック

Gmailメールのログイン入り口はどこですか？
7319
9
Java チュートリアル
1625
14
CakePHP チュートリアル
1349
46
Laravel チュートリアル
1261
25
PHP チュートリアル
1209
29
もっと見る
Related knowledge
CakePHP プロジェクトの構成 CakePHP プロジェクトの構成 Sep 10, 2024 pm 05:25 PM

この章では、CakePHP の環境変数、一般設定、データベース設定、電子メール設定について理解します。

Ubuntu および Debian 用の PHP 8.4 インストールおよびアップグレード ガイド Ubuntu および Debian 用の PHP 8.4 インストールおよびアップグレード ガイド Dec 24, 2024 pm 04:42 PM

PHP 8.4 では、いくつかの新機能、セキュリティの改善、パフォーマンスの改善が行われ、かなりの量の機能の非推奨と削除が行われています。 このガイドでは、Ubuntu、Debian、またはその派生版に PHP 8.4 をインストールする方法、または PHP 8.4 にアップグレードする方法について説明します。

CakePHP の日付と時刻 CakePHP の日付と時刻 Sep 10, 2024 pm 05:27 PM

Cakephp4 で日付と時刻を操作するには、利用可能な FrozenTime クラスを利用します。

CakePHP ファイルのアップロード CakePHP ファイルのアップロード Sep 10, 2024 pm 05:27 PM

ファイルのアップロードを行うには、フォーム ヘルパーを使用します。ここではファイルアップロードの例を示します。

CakePHP ルーティング CakePHP ルーティング Sep 10, 2024 pm 05:25 PM

この章では、ルーティングに関連する次のトピックを学習します。

CakePHP について話し合う CakePHP について話し合う Sep 10, 2024 pm 05:28 PM

CakePHP は、PHP 用のオープンソース フレームワークです。これは、アプリケーションの開発、展開、保守をより簡単にすることを目的としています。 CakePHP は、強力かつ理解しやすい MVC のようなアーキテクチャに基づいています。モデル、ビュー、コントローラー

PHP 開発用に Visual Studio Code (VS Code) をセットアップする方法 PHP 開発用に Visual Studio Code (VS Code) をセットアップする方法 Dec 20, 2024 am 11:31 AM

Visual Studio Code (VS Code とも呼ばれる) は、すべての主要なオペレーティング システムで利用できる無料のソース コード エディター (統合開発環境 (IDE)) です。 多くのプログラミング言語の拡張機能の大規模なコレクションを備えた VS Code は、

CakePHP バリデータの作成 CakePHP バリデータの作成 Sep 10, 2024 pm 05:26 PM

Validator は、コントローラーに次の 2 行を追加することで作成できます。

See all articles