Maison développement back-end tutoriel php 流方式实现多线程采集有关问题,请高手分析上

流方式实现多线程采集有关问题,请高手分析上

Jun 13, 2016 am 10:52 AM
array data quot sockets

流方式实现多线程采集问题,请高手分析下
采集内容速度慢,我一直很头大,最近在研究多线程采集,下面贴出比较代码,有两个问题,一是获取的结果长度有点不一致;二是效率是不是还不够高?大伙帮忙分析,测试!

PHP code
<!--Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php $timeStart = microtimeFloat();function microtimeFloat() {    list($usec, $sec) = explode(" ", microtime());    return ((float)$usec + (float)$sec);}$data = '';$urls = array('http://www.tzksgs.com/news/2012-09/article-217.html', 'http://www.tzksgs.com/news/2012-09/article-219.html', 'http://www.tzksgs.com/news/2012-09/article-222.html');foreach($urls as $url){    echo strlen(file_get_contents($url)),'<br>';}$timeEnd = microtimeFloat();echo sprintf("Spend time: %s second(s)\n", $timeEnd - $timeStart),'<br>';$timeStart = microtimeFloat();$timeout = 30;$status = array();$retdata = array();$sockets = array();$userAgent = $_SERVER['HTTP_USER_AGENT'];foreach($urls as $id => $url) {    $tmp = parse_url($url);    $host = $tmp['host'];    $path = isset($tmp['path'])?$tmp['path']:'/';    empty($tmp['query']) or $path .= '?' . $tmp['query'];    if (empty($tmp['port'])) {        $port = $tmp['scheme'] == 'https' ? 443 : 80;    } else $port = $tmp['port'];    $fp = stream_socket_client("$host:$port", $errno, $errstr, 30);    if (!$fp) {        $status[$id] = "failed, $errno $errstr";    } else {        $status[$id] = "in progress";        $retdata[$id] = '';        $sockets[$id] = $fp;        fwrite($fp, "GET $path HTTP/1.1\r\nHost: $host\r\nUser-Agent: $userAgent\r\nConnection: Close\r\n\r\n");    }}// Now, wait for the results to come back inwhile (count($sockets)) {    $read = $write = $sockets;    //This is the magic function - explained below    if (stream_select($read, $write = null, $e = null, $timeout)) {        //readable sockets either have data for us, or are failed connection attempts        foreach ($read as $r) {            $id = array_search($r, $sockets);            $data = fread($r, 8192);            if (strlen($data) == 0) {                if ($status[$id] == "in progress") {                    $status[$id] = "failed to connect";                }                fclose($r);                unset($sockets[$id]);            } else {                $retdata[$id] .= $data;            }        }    }}foreach($retdata as $data){    $data = trim(substr($data, strpos($data, "\r\n\r\n") + 4));    echo strlen($data),'<br>';}$timeEnd = microtimeFloat();echo sprintf("Spend time: %s second(s)\n", $timeEnd - $timeStart);?>
Copier après la connexion


------解决方案--------------------
你可以尝试 curl_multi_.... 并发执行
这样可尽可能的减少 php 指令,至于楼上两位说的问题。绝不是php所能解决的

------解决方案--------------------
当然,file_get_contents()是阻塞型的,所以如果是执行多个抓取任务,当然会慢。
而socket_*(), fsockopen(), stream_*()都是非阻塞的。
------解决方案--------------------
慢到什么程度? 

试下加上这个:

$context = stream_context_create(array('http' => array('header'=>'Connection: close')));
file_get_contents(".....",false,$context);
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Trier le tableau à l'aide de la fonction Array.Sort en C# Trier le tableau à l'aide de la fonction Array.Sort en C# Nov 18, 2023 am 10:37 AM

Titre : Exemple d'utilisation de la fonction Array.Sort pour trier un tableau en C# Texte : En C#, un tableau est une structure de données couramment utilisée, et il est souvent nécessaire de trier le tableau. C# fournit la classe Array, qui possède la méthode Sort pour trier facilement les tableaux. Cet article explique comment utiliser la fonction Array.Sort en C# pour trier un tableau et fournit des exemples de code spécifiques. Tout d’abord, nous devons comprendre l’utilisation de base de la fonction Array.Sort. Tableau.Donc

php提交表单通过后,弹出的对话框怎样在当前页弹出,该如何解决 php提交表单通过后,弹出的对话框怎样在当前页弹出,该如何解决 Jun 13, 2016 am 10:23 AM

php提交表单通过后,弹出的对话框怎样在当前页弹出php提交表单通过后,弹出的对话框怎样在当前页弹出而不是在空白页弹出?想实现这样的效果:而不是空白页弹出:------解决方案--------------------如果你的验证用PHP在后端,那么就用Ajax;仅供参考:HTML code

Méthode simple et claire pour utiliser la fonction PHP array_merge_recursive() Méthode simple et claire pour utiliser la fonction PHP array_merge_recursive() Jun 27, 2023 pm 01:48 PM

Lors de la programmation en PHP, nous avons souvent besoin de fusionner des tableaux. PHP fournit la fonction array_merge() pour terminer la fusion du tableau, mais lorsque la même clé existe dans le tableau, cette fonction écrasera la valeur d'origine. Afin de résoudre ce problème, PHP fournit également une fonction array_merge_recursive() dans le langage, qui peut fusionner des tableaux et conserver les valeurs des mêmes clés, rendant la conception du programme plus flexible. tableau_merge

Comment utiliser la fonction array_combine en PHP pour combiner deux tableaux en un tableau associatif Comment utiliser la fonction array_combine en PHP pour combiner deux tableaux en un tableau associatif Jun 26, 2023 pm 01:41 PM

En PHP, il existe de nombreuses fonctions de tableau puissantes qui peuvent rendre les opérations sur les tableaux plus pratiques et plus rapides. Lorsque nous devons combiner deux tableaux en un tableau associatif, nous pouvons utiliser la fonction array_combine de PHP pour réaliser cette opération. Cette fonction est en fait utilisée pour combiner les clés d'un tableau avec les valeurs d'un autre tableau dans un nouveau tableau associatif. Ensuite, nous expliquerons comment utiliser la fonction array_combine en PHP pour combiner deux tableaux en un tableau associatif. En savoir plus sur array_comb

Quelles données se trouvent dans le dossier de données ? Quelles données se trouvent dans le dossier de données ? May 05, 2023 pm 04:30 PM

Le dossier de données contient des données du système et du programme, telles que les paramètres logiciels et les packages d'installation. Chaque dossier du dossier Données représente un type différent de dossier de stockage de données, que le fichier de données fasse référence au nom de fichier Données ou à l'extension Données nommées. , ce sont tous des fichiers de données personnalisés par le système ou le programme. Les données sont un fichier de sauvegarde pour le stockage des données. Généralement, elles peuvent être ouvertes avec meidaplayer, le bloc-notes ou Word.

Explication détaillée de l'utilisation de la fonction PHP array_fill() Explication détaillée de l'utilisation de la fonction PHP array_fill() Jun 27, 2023 am 08:42 AM

Dans la programmation PHP, un tableau est une structure de données très importante qui peut facilement gérer de grandes quantités de données. PHP fournit de nombreuses fonctions liées aux tableaux, array_fill() en fait partie. Cet article présentera en détail l'utilisation de la fonction array_fill(), ainsi que quelques conseils d'applications pratiques. 1. Présentation de la fonction array_fill() La fonction de la fonction array_fill() est de créer un tableau d'une longueur spécifiée et composé des mêmes valeurs. Plus précisément, la syntaxe de cette fonction est

Explication détaillée et guide pratique de la programmation Python Socket Explication détaillée et guide pratique de la programmation Python Socket Apr 22, 2023 pm 05:04 PM

Dans l'Internet actuel, le protocole Socket est l'un des fondements les plus importants. Cet article couvre tous les domaines liés à la programmation Socket en Python. Pourquoi utiliser SocketsLes sockets sont les différents protocoles de communication qui composent les réseaux d'aujourd'hui et permettent de transférer des informations entre deux programmes ou appareils différents. Par exemple, lorsque nous ouvrons un navigateur, nous, en tant que clients, créons une connexion au serveur pour transférer des informations. Avant d’aborder ce principe de communication, clarifions d’abord ce que sont les Sockets. Que sont les Sockets De manière générale, les Sockets sont des protocoles d'application internes conçus pour envoyer et recevoir des données. Un seul réseau aura deux chaussettes

Comment utiliser le module Array en Python Comment utiliser le module Array en Python May 01, 2023 am 09:13 AM

Le module array en Python est un tableau prédéfini, il prend donc beaucoup moins d'espace en mémoire qu'une liste standard et peut également effectuer des opérations rapides au niveau des éléments telles que l'ajout, la suppression, l'indexation et le découpage. De plus, tous les éléments du tableau sont du même type, vous pouvez donc utiliser les fonctions d'opérations numériques efficaces fournies par le tableau, telles que le calcul des valeurs moyennes, maximales et minimales. De plus, le module tableau prend également en charge l'écriture et la lecture d'objets tableau directement dans des fichiers binaires, ce qui le rend plus efficace lors du traitement de grandes quantités de données numériques. Par conséquent, si vous devez traiter une grande quantité de données homogènes, vous pouvez envisager d'utiliser le module array de Python pour optimiser l'efficacité d'exécution de votre code. Pour utiliser le module array, vous devez d'abord

See all articles