如何处理simple_html_dom load_file 超时的问题?
我用simple_html_dom 爬取网页,用的面向对象方式,但是会出现超时的情况。
<code>set_time_limit(10000); ini_set('default_socket_timeout', 5); $context = stream_context_create( array( 'http'=>array( 'method' => 'GET', 'timeout' => 5 ), ) ); $shd->load_file($player_url, false, $contex); </code>
我用上面的代码做限时处理,可是不起作用。当时间超过10000秒时会退出脚本,但是我希望一条请求超时后会终止这条请求,然后重新发起请求或进行下一条请求。大神有好的办法么?
回复内容:
我用simple_html_dom 爬取网页,用的面向对象方式,但是会出现超时的情况。
<code>set_time_limit(10000); ini_set('default_socket_timeout', 5); $context = stream_context_create( array( 'http'=>array( 'method' => 'GET', 'timeout' => 5 ), ) ); $shd->load_file($player_url, false, $contex); </code>
我用上面的代码做限时处理,可是不起作用。当时间超过10000秒时会退出脚本,但是我希望一条请求超时后会终止这条请求,然后重新发起请求或进行下一条请求。大神有好的办法么?
不要直接使用它提供的接口获取网络上的内容,虽然它具备这个能力,但这也只是给你调试的时候使用的。在真实情况下很容易碰到如你问题中所述的超时情况,所以你最好先用curl
接口来获取内容,然后再用simple_html_dom
来处理这个内容,前者可以很方便地处理各种网络错误
function get_html_by_url($url, $timeout = 5) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 自动识别301跳转 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 设置各种超时限制 curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); curl_setopt($ch, CURLOPT_TIMEOUT, $timeout); $html = curl_exec($ch); // 处理各种错误 if (false === $html) { return false; } // 处理http错误 if (200 != curl_getinfo($ch, CURLINFO_HTTP_CODE)) { return false; } return $html; } // 直接使用 $html = get_html_by_url('http://www.sina.com.cn', 5); // 用simple_html_dom加载 if (false !== $html) { $shd->load($html); }
配合set_time_limit(0);,必要时,适当增大default_socket_timeout

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

PHP 8.4 带来了多项新功能、安全性改进和性能改进,同时弃用和删除了大量功能。 本指南介绍了如何在 Ubuntu、Debian 或其衍生版本上安装 PHP 8.4 或升级到 PHP 8.4

CakePHP 是 PHP 的开源框架。它的目的是使应用程序的开发、部署和维护变得更加容易。 CakePHP 基于类似 MVC 的架构,功能强大且易于掌握。模型、视图和控制器 gu

登录 CakePHP 是一项非常简单的任务。您只需使用一项功能即可。您可以记录任何后台进程(如 cronjob)的错误、异常、用户活动、用户采取的操作。在 CakePHP 中记录数据很容易。提供了 log() 函数

Visual Studio Code,也称为 VS Code,是一个免费的源代码编辑器 - 或集成开发环境 (IDE) - 可用于所有主要操作系统。 VS Code 拥有针对多种编程语言的大量扩展,可以轻松编写
