php爬取网页的几种方式

一、用scoket方式采集数据

实例

$fp = fsockopen('www.baidu.com',80,$errno,$errstr,30);
    if(!$fp){
        echo '错误号:'.$errno." 错误信息：".$errstr;
    }else{
        $header  = "GET / HTTP/1.1\r\n";
        $header .= "Host: www.baidu.com\r\n";
        $header .= "Connection: Close\r\n\r\n";
        fwrite($fp,$header);
        while (!feof($fp)){//如果没有指向结尾，则继续读取
            echo fgets($fp,1024);
        }
        fclose($fp);
    }

函数解释：

1、fsockopen 打开一个网络连接或者一个Unix套接字连接 参数 hostname:域名 port:端口号 错误号 错误信息 timeout:超时时间
2、fwrite 写入文件（二进制） 参数  handle：文件指针  string：写入的内容（字符串） length：写入长度
3、feof 检查文件指针是否到了文件结束的位置 参数 handle：文件指针  返回值：bool Ture 或者 False
4、fgets 从文件中读取一行 参数 handle：文件指针 length 长度
5、fclose 关闭一个已打开的文件指针

二、生成一个curl对象来爬取

实例

//创建cURL句柄
    $curl=curl_init();
//设置URL和相应的选项
    curl_setopt($curl, CURLOPT_URL, "http://www.php.cn/map/dugu.html");
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
//执行curl操作
    $data=curl_exec($curl);
//打印结果
    var_dump($data);

函数解释：

1、curl_init  初始化 cURL 会话  参数：string：url  返回值：如果成功，返回  cURL 句柄，出错返回 FALSE。
2、curl_setopt  设置 cURL 传输选项 参数  resource：句柄  返回值：TRUE 或者 FALSE
3、curl_exec   curl_exec 执行给定的 cURL 会话 参数：resource：句柄  返回值

三、file_get_contents直接获取网页（不可用于https）

实例

$url = 'http://www.php.cn/map/dugu.html';
$html = file_get_contents($url); 
echo $html;

函数解释：

1、file_get_contents 将整个文件读入一个字符串，在这里可以理解为从网络上返回了一个文件

四、用file_get_contents函数以post方式获取url

实例

//组装post提交的数据
$data =array();
$data = http_build_query($data);

//请求需要的设置
$options = array(
    'http' => array(
        'method' => 'POST',
        'header' => 'Content-type:application/x-www-form-urlencoded',
        'content' => $data
        'timeout' => 60 * 60 // 超时时间（单位:s）
    )
);

//定义请求地址
$url     = "http://www.php.cn/map/dugu.html";
$context = stream_context_create($options); 
echo file_get_contents($url, false, $context);

函数解释：
1、http_build_query  生成 URL-encode 之后的请求字符串 参数 query_data：可以是数组或包含属性的对象

2、stream_context_create 创建资源流上下文，可用于fopen(),file_get_contents()等过程的超时设置、代理服务器、请求方式、头信息设置的特殊过程 参数：必须是关联数组  返回值：resource类型的上下文资源流  

3、file_get_contents 参数：filename：文件路径（可以是url地址） use_include_path：是否读取包含文件 context：上下文资源流（就是stream_context_create处理的）

五、用fopen方式获取

实例

//定义url
    $url = 'http://www.php.cn/map/dugu.html';
//创建指针
    $fp = fopen($url, 'r');
//获取报头，元数据
    stream_get_meta_data($fp);
//读取数据
    $result = '';
    while(!feof($fp))
   {
       $result .= fgets($fp, 1024); 
    } 
//关闭指针
    fclose($fp);
//输出数据
    echo $result;

函数解释：

1、fopen 打开文件或者 URL 参数：filename：文件地址或者url model：模式（只读、只写、或者读写）

2、feof 检查文件指针是否到了文件结束的位置 参数 handle：文件指针  返回值：bool Ture 或者 False

3、fgets 从文件中读取一行 参数 handle：文件指针 length 长度

4、fclose 关闭一个已打开的文件指针