如何处理simple_html_dom load_file 超时的问题?
我用simple_html_dom 爬取网页,用的面向对象方式,但是会出现超时的情况。
<code>set_time_limit(10000); ini_set('default_socket_timeout', 5); $context = stream_context_create( array( 'http'=>array( 'method' => 'GET', 'timeout' => 5 ), ) ); $shd->load_file($player_url, false, $contex); </code>
我用上面的代码做限时处理,可是不起作用。当时间超过10000秒时会退出脚本,但是我希望一条请求超时后会终止这条请求,然后重新发起请求或进行下一条请求。大神有好的办法么?
回复内容:
我用simple_html_dom 爬取网页,用的面向对象方式,但是会出现超时的情况。
<code>set_time_limit(10000); ini_set('default_socket_timeout', 5); $context = stream_context_create( array( 'http'=>array( 'method' => 'GET', 'timeout' => 5 ), ) ); $shd->load_file($player_url, false, $contex); </code>
我用上面的代码做限时处理,可是不起作用。当时间超过10000秒时会退出脚本,但是我希望一条请求超时后会终止这条请求,然后重新发起请求或进行下一条请求。大神有好的办法么?
不要直接使用它提供的接口获取网络上的内容,虽然它具备这个能力,但这也只是给你调试的时候使用的。在真实情况下很容易碰到如你问题中所述的超时情况,所以你最好先用curl
接口来获取内容,然后再用simple_html_dom
来处理这个内容,前者可以很方便地处理各种网络错误
function get_html_by_url($url, $timeout = 5) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 自动识别301跳转 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 设置各种超时限制 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); curl_setopt($ch, CURLOPT_TIMEOUT, $timeout); $html = curl_exec($ch); // 处理各种错误 if (false === $html) { return false; } // 处理http错误 if (200 != curl_getinfo($ch, CURLINFO_HTTP_CODE)) { return false; } return $html; } // 直接使用 $html = get_html_by_url('http://www.sina.com.cn', 5); // 用simple_html_dom加载 if (false !== $html) { $shd->load($html); }
配合set_time_limit(0);,必要时,适当增大default_socket_timeout

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











이번 장에서는 CakePHP의 환경 변수, 일반 구성, 데이터베이스 구성, 이메일 구성에 대해 알아봅니다.

PHP 8.4는 상당한 양의 기능 중단 및 제거를 통해 몇 가지 새로운 기능, 보안 개선 및 성능 개선을 제공합니다. 이 가이드에서는 Ubuntu, Debian 또는 해당 파생 제품에서 PHP 8.4를 설치하거나 PHP 8.4로 업그레이드하는 방법을 설명합니다.

CakePHP는 PHP용 오픈 소스 프레임워크입니다. 이는 애플리케이션을 훨씬 쉽게 개발, 배포 및 유지 관리할 수 있도록 하기 위한 것입니다. CakePHP는 강력하고 이해하기 쉬운 MVC와 유사한 아키텍처를 기반으로 합니다. 모델, 뷰 및 컨트롤러 gu

VS Code라고도 알려진 Visual Studio Code는 모든 주요 운영 체제에서 사용할 수 있는 무료 소스 코드 편집기 또는 통합 개발 환경(IDE)입니다. 다양한 프로그래밍 언어에 대한 대규모 확장 모음을 통해 VS Code는
