php的curl可以實作模擬http的各種請求，這也是php做網路爬蟲的基礎，也多用於介面api的呼叫。這時候有人就要發問了：為什麼你特麼不用file_get_contents?
curl的效能比它好，而且可以完成更多複雜的操作，不只取得頁面資料。
下面先分別介紹一些常用的函數。
curl_init 初始化一個curl對話
curl_setopt 設定curl參數，即傳輸選項
curl_exec 執行要求
#curl_close 關閉一個curl對話
主要是上面四個
curl_errno 回傳最後一次錯誤碼,php已經定義了諸多錯誤枚舉編碼
curl_errror 回傳一個保護目前會話最近一次錯誤的字串
下面直接上實例吧，相關解釋都在註解裡面
#1. 在網路上下載一個網頁並把內容中的「百度」替換為「屌絲」之後輸出
<?php/**
* 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
*/$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来$output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho str_replace("百度","屌丝",$output);?>2. 透過呼叫WebService查詢北京的當前天氣
<?php/**
* 实例描述：通过调用WebService查询北京的当前天气
*/$data = 'theCityName=北京';$curlobj = curl_init();
curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName");
curl_setopt($curlobj, CURLOPT_HEADER, 0);
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curlobj, CURLOPT_POST, 1);
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",
"Content-length: ".strlen($data)
));
$rtn = curl_exec($curlobj);
if(!curl_errno($curlobj)){ // $info = curl_getinfo($curlobj);
// print_r($info);
echo $rtn;
} else { echo 'Curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);?>#3. 模擬需要登入的網址並抓取網頁的內容
<?php/**
* 实例描述：模拟需要登录的网址并抓取网页的内容
*/$data=array('username' => 'promonkey',
'password' => '1q2w3e', 'remember'=>1);$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来// Cookie相关设置，这部分设置需要在所有会话开始之前设置date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($curlobj, CURLOPT_HEADER, 0);
curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转curl_setopt($curlobj, CURLOPT_POST, 1);
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",
"Content-length: ".strlen($data)
));
curl_exec($curlobj); // 执行curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");
curl_setopt($curlobj, CURLOPT_POST, 0);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"
));
$output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho $output;?>#4. 登入網站的資訊抓取並下載個人空間頁面+ 自訂實作頁面連結跳轉抓取
<?php/**
* 实例描述：登录网站的信息抓取并下载个人空间页面
* 自定义实现页面链接跳转抓取
*
*/$data='username=demo_peter@126.com&password=123qwe&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/user/login"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来// Cookie相关设置，这部分设置需要在所有会话开始之前设置date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE);
curl_setopt($curlobj, CURLOPT_HEADER, 0);
// 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open_basedir，对服务器安全不利//curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($curlobj, CURLOPT_POST, 1);
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("application/x-www-form-urlencoded; charset=utf-8",
"Content-length: ".strlen($data)
));
curl_exec($curlobj); // 执行curl_setopt($curlobj, CURLOPT_URL, "http://www.imooc.com/space/index");
curl_setopt($curlobj, CURLOPT_POST, 0);
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array("Content-type: text/xml"
));
$output=curl_redir_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho $output;/**
* 自定义实现页面链接跳转抓取
*/function curl_redir_exec($ch,$debug="") {
static $curl_loops = 0;
static $curl_max_loops = 20;
if ($curl_loops++ >= $curl_max_loops)
{
$curl_loops = 0;
return FALSE;
}
curl_setopt($ch, CURLOPT_HEADER, true); // 开启header才能够抓取到重定向到的新URL
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$data = curl_exec($ch);
// 分割返回的内容
$h_len = curl_getinfo($ch, CURLINFO_HEADER_SIZE);
$header = substr($data,0,$h_len); $data = substr($data,$h_len - 1); $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ($http_code == 301 || $http_code == 302) {
$matches = array();
preg_match('/Location:(.*?)\n/', $header, $matches);
$url = @parse_url(trim(array_pop($matches)));
// print_r($url);
if (!$url)
{
//couldn't process the url to redirect to
$curl_loops = 0;
return $data;
}
$last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL));
if (!isset($url['scheme']))
$url['scheme'] = $last_url['scheme'];
if (!isset($url['host']))
$url['host'] = $last_url['host'];
if (!isset($url['path']))
$url['path'] = $last_url['path']; $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:'');
curl_setopt($ch, CURLOPT_URL, $new_url);
return curl_redir_exec($ch);
} else {
$curl_loops=0;
return $data;
}
}
?>#從FTP伺服器下載一個文件到本地
<?php/**
* 实例描述：把本地文件上传到FTP服务器上
*/$curlobj = curl_init();
$localfile = 'ftp01.php';$fp = fopen($localfile, 'r');
curl_setopt($curlobj, CURLOPT_URL, "ftp://192.168.1.100/ftp01_uploaded.php");
curl_setopt($curlobj, CURLOPT_HEADER, 0);
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curlobj, CURLOPT_TIMEOUT, 300); // times out after 300scurl_setopt($curlobj, CURLOPT_USERPWD, "peter.zhou:123456");//FTP用户名：密码//上传和下载主要是下面子三个参数不一样curl_setopt($curlobj, CURLOPT_UPLOAD, 1);
curl_setopt($curlobj, CURLOPT_INFILE, $fp);
curl_setopt($curlobj, CURLOPT_INFILESIZE, filesize($localfile));$rtn = curl_exec($curlobj);
fclose($fp);
if(!curl_errno($curlobj)){ echo "Uploaded successfully.";
} else { echo 'Curl error: ' . curl_error($curlobj);
}
curl_close($curlobj);?>6.下载网络上面的一个HTTPS的资源
<?php/** * 实例描述：下载网络上面的一个HTTPS的资源 */$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 执行之后不直接打印出来// 设置HTTPS支持date_default_timezone_set('PRC'); // 使用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检查从证书中检查SSL加密算法是否存在curl_setopt($curlobj, CURLOPT_SSL_VERIFYHOST, 2); // $output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭cURLecho $output;?>
相关推荐：
以上是PHP網路爬蟲之CURL詳解的詳細內容。更多資訊請關注PHP中文網其他相關文章！
