백엔드 개발 PHP 튜토리얼 流方式实现多线程采集有关问题,请高手分析上

流方式实现多线程采集有关问题,请高手分析上

Jun 13, 2016 am 10:52 AM
array data quot sockets

流方式实现多线程采集问题,请高手分析下
采集内容速度慢,我一直很头大,最近在研究多线程采集,下面贴出比较代码,有两个问题,一是获取的结果长度有点不一致;二是效率是不是还不够高?大伙帮忙分析,测试!

PHP code
<!--Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/--><?php $timeStart = microtimeFloat();function microtimeFloat() {    list($usec, $sec) = explode(" ", microtime());    return ((float)$usec + (float)$sec);}$data = '';$urls = array('http://www.tzksgs.com/news/2012-09/article-217.html', 'http://www.tzksgs.com/news/2012-09/article-219.html', 'http://www.tzksgs.com/news/2012-09/article-222.html');foreach($urls as $url){    echo strlen(file_get_contents($url)),'<br>';}$timeEnd = microtimeFloat();echo sprintf("Spend time: %s second(s)\n", $timeEnd - $timeStart),'<br>';$timeStart = microtimeFloat();$timeout = 30;$status = array();$retdata = array();$sockets = array();$userAgent = $_SERVER['HTTP_USER_AGENT'];foreach($urls as $id => $url) {    $tmp = parse_url($url);    $host = $tmp['host'];    $path = isset($tmp['path'])?$tmp['path']:'/';    empty($tmp['query']) or $path .= '?' . $tmp['query'];    if (empty($tmp['port'])) {        $port = $tmp['scheme'] == 'https' ? 443 : 80;    } else $port = $tmp['port'];    $fp = stream_socket_client("$host:$port", $errno, $errstr, 30);    if (!$fp) {        $status[$id] = "failed, $errno $errstr";    } else {        $status[$id] = "in progress";        $retdata[$id] = '';        $sockets[$id] = $fp;        fwrite($fp, "GET $path HTTP/1.1\r\nHost: $host\r\nUser-Agent: $userAgent\r\nConnection: Close\r\n\r\n");    }}// Now, wait for the results to come back inwhile (count($sockets)) {    $read = $write = $sockets;    //This is the magic function - explained below    if (stream_select($read, $write = null, $e = null, $timeout)) {        //readable sockets either have data for us, or are failed connection attempts        foreach ($read as $r) {            $id = array_search($r, $sockets);            $data = fread($r, 8192);            if (strlen($data) == 0) {                if ($status[$id] == "in progress") {                    $status[$id] = "failed to connect";                }                fclose($r);                unset($sockets[$id]);            } else {                $retdata[$id] .= $data;            }        }    }}foreach($retdata as $data){    $data = trim(substr($data, strpos($data, "\r\n\r\n") + 4));    echo strlen($data),'<br>';}$timeEnd = microtimeFloat();echo sprintf("Spend time: %s second(s)\n", $timeEnd - $timeStart);?>
로그인 후 복사


------解决方案--------------------
你可以尝试 curl_multi_.... 并发执行
这样可尽可能的减少 php 指令,至于楼上两位说的问题。绝不是php所能解决的

------解决方案--------------------
当然,file_get_contents()是阻塞型的,所以如果是执行多个抓取任务,当然会慢。
而socket_*(), fsockopen(), stream_*()都是非阻塞的。
------解决方案--------------------
慢到什么程度? 

试下加上这个:

$context = stream_context_create(array('http' => array('header'=>'Connection: close')));
file_get_contents(".....",false,$context);
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

C#에서 Array.Sort 함수를 사용하여 배열 정렬 C#에서 Array.Sort 함수를 사용하여 배열 정렬 Nov 18, 2023 am 10:37 AM

제목: Array.Sort 함수를 사용하여 C#에서 배열을 정렬하는 예 텍스트: C#에서는 배열이 일반적으로 사용되는 데이터 구조이므로 배열 정렬 작업이 필요한 경우가 많습니다. C#에서는 배열을 편리하게 정렬할 수 있는 Sort 메서드가 있는 Array 클래스를 제공합니다. 이 문서에서는 C#에서 Array.Sort 함수를 사용하여 배열을 정렬하는 방법을 보여주고 구체적인 코드 예제를 제공합니다. 먼저 Array.Sort 함수의 기본 사용법을 이해해야 합니다. 배열.그래서

php提交表单通过后,弹出的对话框怎样在当前页弹出,该如何解决 php提交表单通过后,弹出的对话框怎样在当前页弹出,该如何解决 Jun 13, 2016 am 10:23 AM

php提交表单通过后,弹出的对话框怎样在当前页弹出php提交表单通过后,弹出的对话框怎样在当前页弹出而不是在空白页弹出?想实现这样的效果:而不是空白页弹出:------解决方案--------------------如果你的验证用PHP在后端,那么就用Ajax;仅供参考:HTML code

PHP array_merge_recursive() 함수를 사용하는 간단하고 명확한 방법 PHP array_merge_recursive() 함수를 사용하는 간단하고 명확한 방법 Jun 27, 2023 pm 01:48 PM

PHP로 프로그래밍할 때 배열을 병합해야 하는 경우가 종종 있습니다. PHP는 배열 병합을 완료하기 위해 array_merge() 함수를 제공하지만, 배열에 동일한 키가 존재할 경우 이 함수는 원래 값을 덮어씁니다. 이 문제를 해결하기 위해 PHP는 배열을 병합하고 동일한 키의 값을 유지할 수 있는 array_merge_recursive() 함수도 언어에 제공하여 프로그램 설계를 더욱 유연하게 만듭니다. array_merge

PHP에서 array_combine 함수를 사용하여 두 배열을 연관 배열로 결합하는 방법 PHP에서 array_combine 함수를 사용하여 두 배열을 연관 배열로 결합하는 방법 Jun 26, 2023 pm 01:41 PM

PHP에는 배열 작업을 더욱 편리하고 빠르게 만들어주는 강력한 배열 함수가 많이 있습니다. 두 배열을 연관 배열로 결합해야 하는 경우 PHP의 array_combine 함수를 사용하여 이 작업을 수행할 수 있습니다. 이 함수는 실제로 한 배열의 키를 다른 배열의 값으로 새로운 연관 배열로 결합하는 데 사용됩니다. 다음으로 PHP에서 array_combine 함수를 사용하여 두 배열을 연관 배열로 결합하는 방법을 설명하겠습니다. array_comb에 대해 알아보기

데이터 폴더에는 어떤 데이터가 있나요? 데이터 폴더에는 어떤 데이터가 있나요? May 05, 2023 pm 04:30 PM

데이터 폴더에는 소프트웨어 설정 및 설치 패키지와 같은 시스템 및 프로그램 데이터가 포함되어 있습니다. 데이터 폴더의 각 폴더는 데이터 파일이 파일 이름인 Data 또는 명명된 데이터를 참조하는지 여부에 관계없이 다양한 유형의 데이터 저장 폴더를 나타냅니다. , 모두 시스템이나 프로그램에 의해 사용자 정의된 데이터 파일입니다. 데이터는 데이터 저장을 위한 백업 파일입니다. 일반적으로 meidaplayer, 메모장 또는 워드로 열 수 있습니다.

mysql 로드 데이터가 왜곡되면 어떻게 해야 합니까? mysql 로드 데이터가 왜곡되면 어떻게 해야 합니까? Feb 16, 2023 am 10:37 AM

잘못된 mysql 로드 데이터에 대한 해결 방법: 1. 잘못된 문자가 있는 SQL 문을 찾습니다. 2. 문을 "LOAD DATA LOCAL INFILE "employee.txt" INTO TABLE EMPLOYEE 문자 집합 utf8;"으로 수정합니다.

Python 소켓 프로그래밍에 대한 자세한 설명과 실무 가이드 Python 소켓 프로그래밍에 대한 자세한 설명과 실무 가이드 Apr 22, 2023 pm 05:04 PM

오늘날 인터넷에서 소켓 프로토콜은 가장 중요한 기반 중 하나입니다. 이 문서에서는 Python에서 소켓 프로그래밍을 다루는 모든 영역을 다룹니다. 소켓을 사용하는 이유 소켓은 오늘날의 네트워크를 구성하고 서로 다른 두 프로그램이나 장치 간에 정보를 전송할 수 있게 해주는 다양한 통신 프로토콜입니다. 예를 들어, 브라우저를 열면 클라이언트로서 정보를 전송하기 위해 서버에 대한 연결을 만듭니다. 이 통신 원리를 살펴보기 전에 먼저 소켓이 무엇인지 명확히 하겠습니다. 소켓이란 무엇입니까? 일반적으로 소켓은 데이터를 보내고 받기 위해 만들어진 내부 응용 프로그램 프로토콜입니다. 단일 네트워크에는 두 개의 양말이 있습니다.

PHP array_fill() 함수 사용법에 대한 자세한 설명 PHP array_fill() 함수 사용법에 대한 자세한 설명 Jun 27, 2023 am 08:42 AM

PHP 프로그래밍에서 배열은 많은 양의 데이터를 쉽게 처리할 수 있는 매우 중요한 데이터 구조입니다. PHP는 많은 배열 관련 함수를 제공하며 array_fill()은 그 중 하나입니다. 이 기사에서는 array_fill() 함수의 사용법과 실제 응용에 대한 몇 가지 팁을 자세히 소개합니다. 1. array_fill() 함수 개요 array_fill() 함수의 함수는 지정된 길이의 동일한 값으로 구성된 배열을 생성하는 것입니다. 구체적으로 이 함수의 구문은 다음과 같습니다.

See all articles