目录
HTTP
FTP
Local
首页 php教程 php手册 php获取远程网页源码的程序代码

php获取远程网页源码的程序代码

Jun 02, 2016 am 09:13 AM
explode fopen foreach request substr

有时我们需要做一些采集需要下载远程网页源码到本来了,在这里我们整理了一些php获取远程网页源码代码,希望对各位会有所帮助。

php的curl函数

基本例子

<?php
// 初始化一个 cURL 对象
$curl = curl_init();
// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, &#39;http://www.phprm.com&#39;);
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
// 关闭URL请求
curl_close($curl);
// 显示获得的数据
var_dump($data);
?>
登录后复制

php fopen函数

<?php
print ("<h1 id="HTTP">HTTP</h1>n");
// open a file using http protocol
if (!($myFile = fopen("http://www.phprm.com/", "r"))) {
    print ("file could not be opened");
    exit;
}
while (!feof($myFile)) {
    // read a line from the file
    $myLine = fgetss($myFile, 255);
    print ("$myLine <BR>n");
}
// close the file
fclose($myFile);
print ("<h1 id="FTP">FTP</h1>n");
print ("<HR>n");
// open a file using ftp protocol
if (!($myFile = fopen("ftp://ftp.php.net/welcome.msg", "r"))) {
    print ("file could not be opened");
    exit;
}
while (!feof($myFile)) {
    // read a line from the file
    $myLine = fgetss($myFile, 255);
    print ("$myLine <BR>n");
}
// close the file
fclose($myFile);
print ("<h1 id="Local">Local</h1>n");
print ("<HR>n");
// open a local file
if (!($myFile = fopen("data.txt", "r"))) {
    print ("file could not be opened");
    exit;
}
while (!feof($myFile)) {
    // read a line from the file
    $myLine = fgetss($myFile, 255);
    print ("$myLine <BR>n");
}
// close the file
fclose($myFile);
?>
登录后复制

file_get_contents函数

<?php
file_get_contents(&#39;http://www.phprm.com/&#39;);
?>
登录后复制

抓取远程网页源码类

<?php
class HTTPRequest {
    var $_fp; // HTTP socket
    var $_url; // full URL
    var $_host; // HTTP host
    var $_protocol; // protocol (HTTP/HTTPS)
    var $_uri; // request URI
    var $_port; // port
    // scan url
    function _scan_url() {
        $req = $this->_url;
        $pos = strpos($req, &#39;://&#39;);
        $this->_protocol = strtolower(substr($req, 0, $pos));
        $req = substr($req, $pos + 3);
        $pos = strpos($req, &#39;/&#39;);
        if ($pos === false) $pos = strlen($req);
        $host = substr($req, 0, $pos);
        if (strpos($host, &#39;:&#39;) !== false) {
            list($this->_host, $this->_port) = explode(&#39;:&#39;, $host);
        } else {
            $this->_host = $host;
            $this->_port = ($this->_protocol == &#39;https&#39;) ? 443 : 80;
        }
        $this->_uri = substr($req, $pos);
        if ($this->_uri == &#39;&#39;) $this->_uri = &#39;/&#39;;
    }
    // constructor
    function HTTPRequest($url) {
        $this->_url = $url;
        $this->_scan_url();
    }
    // download URL to string
    function DownloadToString() {
        $crlf = "rn";
        // generate request
        $req = &#39;GET &#39; . $this->_uri . &#39; HTTP/1.0&#39; . $crlf . &#39;Host: &#39; . $this->_host . $crlf . $crlf;
        // fetch
        $this->_fp = fsockopen(($this->_protocol == &#39;https&#39; ? &#39;ssl://&#39; : &#39;&#39;) . $this->_host, $this->_port);
        fwrite($this->_fp, $req);
        while (is_resource($this->_fp) && $this->_fp && !feof($this->_fp)) $response.= fread($this->_fp, 1024);
        fclose($this->_fp);
        // split header and body
        $pos = strpos($response, $crlf . $crlf);
        if ($pos === false) return ($response);
        $header = substr($response, 0, $pos);
        $body = substr($response, $pos + 2 * strlen($crlf));
        // parse headers
        $headers = array();
        $lines = explode($crlf, $header);
        foreach ($lines as $line) if (($pos = strpos($line, &#39;:&#39;)) !== false) $headers[strtolower(trim(substr($line, 0, $pos))) ] = trim(substr($line, $pos + 1));
        // redirection?
        if (isset($headers[&#39;location&#39;])) {
            $http = new HTTPRequest($headers[&#39;location&#39;]);
            return ($http->DownloadToString($http));
        } else {
            return ($body);
        }
    }
}
//使用方法
$r = new HTTPRequest(&#39;http://www.phprm.com&#39;);
$str = $r->DownloadToString();
?>
登录后复制


本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前 By 尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Java ArrayList遍历时使用foreach和iterator删除元素的区别是什么? Java ArrayList遍历时使用foreach和iterator删除元素的区别是什么? Apr 27, 2023 pm 03:40 PM

一、Iterator和foreach的区别多态差别(foreach底层就是Iterator)Iterator是一个接口类型,他不关心集合或者数组的类型;for和foreach都需要先知道集合的类型,甚至是集合内元素的类型;1.为啥说foreach底层就是Iterator编写的代码:反编译代码:二、foreach与iterator时remove的区别先来看阿里java开发手册但1的时候不会报错,2的时候就会报错(java.util.ConcurrentModificationException)首

php如何判断foreach循环到第几个 php如何判断foreach循环到第几个 Jul 10, 2023 pm 02:18 PM

​php判断foreach循环到第几个的步骤:1、创建一个“$fruits”的数组;2、创建一个计数器变量“$counter”初始值为0;3、使用“foreach”循环遍历数组,并在循环体中增加计数器变量的值,再输出每个元素和它们的索引;4、在“foreach”循环体外输出计数器变量的值,以确认循环到了第几个元素。

如何解决PHP Warning: fopen(): failed to open stream: No such file or directory 如何解决PHP Warning: fopen(): failed to open stream: No such file or directory Aug 19, 2023 am 10:44 AM

如何解决PHPWarning:fopen():failedtoopenstream:Nosuchfileordirectory在使用PHP开发过程中,我们经常会遇到一些文件操作的问题,其中之一就是"PHPWarning:fopen():failedtoopenstream:Nosuchfileordirectory

如何解决PHP Warning: fopen(): SSL operation failed in file.php on line X 如何解决PHP Warning: fopen(): SSL operation failed in file.php on line X Aug 25, 2023 am 09:22 AM

如何解决PHPWarning:fopen():SSLoperationfailedinfile.phponlineX在PHP编程中,我们经常使用fopen函数来打开文件或者URL,并进行相关操作。然而,在使用fopen函数时,有时候会遇到类似于Warning:fopen():SSLoperationfailedinfile.p

php request什么意思 php request什么意思 Jul 07, 2021 pm 01:49 PM

request的中文意思为“请求”,是php中的一个全局变量,是一个包含了“$_POST”、“$_GET”和“$_COOKIE”的数组。“$_REQUEST”变量可以获取POST或GET方式提交的数据、COOKIE信息。

如何解决PHP Warning: fopen(): failed to open stream: Permission denied 如何解决PHP Warning: fopen(): failed to open stream: Permission denied Aug 20, 2023 pm 01:45 PM

如何解决PHPWarning:fopen():failedtoopenstream:Permissiondenied在开发PHP程序的过程中,我们常常会遇到一些报错信息,比如PHPWarning:fopen():failedtoopenstream:Permissiondenied。这个错误通常是由于文件或目录权限不正

PHP中的Request对象是什么? PHP中的Request对象是什么? Feb 27, 2024 pm 09:06 PM

PHP中的Request对象是用于处理客户端发送到服务器的HTTP请求的对象。通过Request对象,我们可以获取客户端的请求信息,比如请求方法、请求头信息、请求参数等,从而实现对请求的处理和响应。在PHP中,可以使用$_REQUEST、$_GET、$_POST等全局变量来获取请求的信息,但是这些变量并不是对象,而是数组。为了更加灵活和方便地处理请求信息,可

Python 3.x 中如何使用urllib.request.urlopen()函数发送GET请求 Python 3.x 中如何使用urllib.request.urlopen()函数发送GET请求 Jul 30, 2023 am 11:28 AM

Python3.x中如何使用urllib.request.urlopen()函数发送GET请求在网络编程中,我们经常需要通过发送HTTP请求来获取远程服务器的数据。在Python中,我们可以使用urllib模块中的urllib.request.urlopen()函数来发送HTTP请求,并获取服务器返回的响应。本文将介绍如何使用

See all articles