一个php curl封装的类，减少代码量，简化采集工作。这个类也是我工作的最常用的类之一。这里分享给大家。配合上phpquery,十分好用。
<?phpnamespace iphp\core;use iphp\App;/** * 封装了的curl http请求类 * @author xuen */class MyCurl{ public $ch; // 当前链接对象 public $str = ''; // 当前串 public $match; // 正则表达式 /** * 将curl常量属性转变成一个数组，便于使用 * @var string */ public $defaultOpt = array( CURLOPT_URL => '', // 请求的URL CURLOPT_RETURNTRANSFER => 1, // 设置有返回信息，以流的形式返回，非不是直接输出 CURLOPT_HTTPGET => 1, // 设定为GET请求。 // 定义默认的回调函数,这样exec()将在成功后返回1 CURLOPT_CONNECTTIMEOUT => 30, // 设置默认链接超时间为30秒 CURLOPT_TIMEOUT=>30,//设置下载时间最多30秒。 // 自动跟踪重定向。 CURLOPT_FOLLOWLOCATION => true, // 设置客户端支持gzip压缩,默认不开启，用于节省流量。 CURLOPT_ENCODING => 'gzip', // 设定默认header头 CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; rv:23.0) Gecko/20100101 Firefox/23.0' ); public $opt; public $cookieFile = false; // 保存的COOKIE文件 /** * http请求响应的缓存，默认缓存在数组中，最大为512个 * @var array */ public $cache = array(); public function __construct () { // 完成CH的初始化 $this->ch = curl_init(); if (! $this->ch) die('当前环境不支持CURL'); $this->opt=$this->defaultOpt; } // 执行HTTP请求，并得到返回数据 // 返回指定匹配的串，如果匹配失败将返回全部文档 public function exec ($opt) { //如查参数只是一个串，就认为是一个url if(!is_array($opt)) { $url=$opt; $opt=array(); $opt['url']=$url; } // 如果存在缓存，则返回缓存的字符串。 $key = md5($opt['url'] . $opt['post'] . $opt['match']. $opt['return']); if (($str = $this->getCache($key)) != false) return $str; // 每次执行前，清空当前str,每次请求，返回值可能不一样 $this->str = ''; // 参数设置失败和执行行失败都将返回 fasle; if (! $this->setOptions($opt)) return false; $flag = curl_exec($this->ch); $this->setCache($key, $this->str ? $this->str : $flag); //执行完成后，基于长驻内存和考虑，上一次连接的选项可以对下一次靠成影响 $this->opt=$this->defaultOpt; if ($this->str == '') // 表示没有执行回调函数 return $flag; else return $this->str; } /** * 简单封装的file_get_contents函数 * 只是使用的缓存而已。 */ public function getContent ($url) { $key = md5($url); if (($str = $this->getCache($key)) != false) return $str; $str = file_get_contents($url); $this->setCache($key, $str); return $str; } // 设置CURL属性 public function setOptions ($opt) { foreach ($opt as $key => $value) { // 以下值为可以设定的值。如果没有，将使用默认值； switch ($key) { case 'url': // 设定当前请求的URL $this->opt[CURLOPT_URL] = $value; break; case 'str': // 设定信息返方式，默认为1 $this->opt[CURLOPT_RETURNTRANSFER] = $value; break; // 默认值也为1 case 'method': // 设定请求方式,默认为POST if ($value == 'get') $this->opt[CURLOPT_HTTPGET] = 1; // 设为GET请求 elseif ($value == 'put') $this->opt[CURLOPT_PUT] = 1; // ftp文件上传 else $this->opt[CURLOPT_POST] = 1; break; case 'post': // 设定POST请求主体，数组形式,如果上传文件，文件名前加@ $this->opt[CURLOPT_POSTFIELDS] = $value; break; case 'header': // 设定HEADER请求头；默认不使用，数组形式 $this->opt[CURLOPT_HTTPHEADER] = $value; break; case 'referer': // 设定REFERER信息,默认为空 $this->opt[CURLOPT_REFERER] = $value; break; case 'auth': // 设定要请求的用户密码[username]:[password] $this->opt[CURLOPT_USERPWD] = $value; break; case 'connect_time': // 发起链接前的等待时间 $this->opt[CURLOPT_CONNECTTIMEOUT] = $value; break; case 'load_time'://文件下载最长时间。 $this->opt[CURLOPT_TIMEOUT]=$value; break; case 'callback': // 定义回调函数 $this->opt[CURLOPT_WRITEFUNCTION] = $value; break; case 'match': // 寻找指定段的正则表达式 $this->opt[CURLOPT_WRITEFUNCTION] = array( 'self', 'callback' ); $this->match = $value; case 'proxy': $this->opt[CURLOPT_PROXY] = $value; break; case 'file': // 用FTP上传的文件名柄 $this->opt[CURLOPT_VERBOSE] = 1; $this->opt[CURLOPT_INFILE] = $value; // 上传句柄 $this->opt[CURLOPT_NOPROGRESS] = false; $this->opt[CURLOPT_FTP_USE_EPRT] = true; $this->opt[CURLOPT_FTP_USE_EPSV] = true; break; case 'cookie_file': // 设置cookie文件。 $this->cookieFile =APP_PATH . '/runtime/cookie.txt'; // 发送COOKIE $this->opt[CURLOPT_COOKIEFILE] = $this->cookieFile; // 设置cookie $this->opt[CURLOPT_COOKIEJAR] = $this->cookieFile; break; case 'cookie'://设置访问cookie为一个字符串 $this->opt[CURLOPT_COOKIE]=$value; break; case 'return': // 设定返回的类型 if ($value == 'head') // 表示只得到header头 { $this->opt[CURLOPT_NOBODY] = 1; $this->opt[CURLOPT_HEADER] = 1; } elseif ($value == 'body') {}// 默认值，只返回body体 elseif ($value == 'all') $this->opt[CURLOPT_HEADER] = 1; break; case 'location'://是不是跟踪重定向 $this->opt[CURLOPT_FOLLOWLOCATION]=$value; break; case 'client_type'://设定客户端类型 $this->setClientType($value); break; case 'client_ip'://设定客户端IP地址，只是在header头，不是真实伪造 $this->opt[CURLOPT_HTTPHEADER][]='X-FORWARDED-FOR: '.$value; $this->opt[CURLOPT_HTTPHEADER][]='CLIENT-IP: '.$value; break; } } // 设定当前链接选项,选项设置失败返回false; return curl_setopt_array($this->ch, $this->opt); } // 回调函数，返回指定正则表达式的HTML段 public function callback ($ch, $str) { $this->str .= $str; preg_match($this->match, $this->str, $match); if (! empty($match)) { // 存在一个子模式，则返回这个子模式 if (isset($match[1])) $this->str = $match[1]; else $this->str = $match[0]; return false; // 中断请求 } return strlen($str); } /** * 得到当前请求的错误信息 * @param int $type * 0表示得到错误编码，1表示得到错误信息，2表示得到所有信息 * @return mixed */ public function getError ($type = 11) { switch ($type) { case 0: $info = curl_errno($this->ch); break; case 1: $info = curl_error($this->ch); break; default: $info = curl_getinfo($this->ch); } return $info; } /** * 清除缓存。 */ public function __destruct () { curl_close($this->ch); $this->cache = array(); } /** * 设置缓存，以减少http请求数量。 * 大量采集中，你应改使用重写此方法。 * 默认将使用内存缓存 * 如果缓存数组超过512个，清空数组缓存。 * @param string $key * @param string $str * @return string boolean */ public function setCache ($key, $str) { if(count($this->cache)>512) $this->cache=array(); $this->cache[$key] = $str; //如果引入的phpquery对象 if(class_exists('\\phpQuery') && count(\phpQuery::$documents)>512) \phpQuery::$documents=array(); } /** * 得到缓存数据 * * @param string $key * @return string boolean */ public function getCache ($key) { if ($this->cache[$key]) return $this->cache[$key]; else return false; } /** * 调用远程http接口，返回一个数组 * 当前只支持get请求 * @param string $url * @param array $query get方式查询参数 * 其中两个参数为自定义参数 * _method:为请求的类型 * _type:为返回的数据类型，支持xml,json. * 这两个参数不做查询字符串 * @param array $type 返回的格式类型 */ public function getArray($url,$query=array()) { $method=($query['_method']=='post')?'post':'get'; $type = ($query['_type']=='xml')?'xml':'json'; if($query['_method']) unset($query['_method']); if($query['_type']) unset($query['_type']); if($method=='get') { if($query) $nowUrl=$url.'?'.http_build_query($query); else $nowUrl=$url; $str=$this->exec(array( 'url'=>$nowUrl, 'method'=>'get', )); } else $str=$this->exec(array( 'url'=>$url, 'method'=>'post', 'post'=>$query )); if(!$str) return false; $arr=$this->toArray($str,$type); if(!$arr || !is_array($arr)) return false; return $arr; } /** * 将一个{}格式的javasrcipt对象转变成一个php数组 * 以避免过多的使用正则表达式。 * 目前支持一维数组； * 如果js对像里面还有一个对象。可能会有问题。 * 通常情况下，你应该在页面中只匹配一个JS对象。 * @param string $str * @return array|bool */ public function jsArray($str) { $return=array(); $str=str_replace(array( '"', "'", '{', '}' ), '', $str); $arr=explode(',', $str); foreach($arr as $row) { $tmpArr=explode(':', $row); $return[trim($tmpArr[0])]=trim($tmpArr[1]); } return $return; } /** * 使用phpquery来进行html页面采集 * @param unknown $str 字符串 * @param string $query 选择器表达式 * @return \phpQuery */ public function getDom($str,$query='') { require_once APP_PATH.'/iphp/extension/phpQuery/phpQuery.php'; $domObject=\phpQuery::newDocument($str); if($query=='') return $domObject; return pq($query); } /** * 将字符串转变成一个数组； * @param string $str 字符串 * @param string $type 类型。 * @return array|bool */ public function toArray($str,$type="json") { if($type=='xml') { $doc=simplexml_load_string($str); $xml=App::getApp()->getXml(); return $xml->getTreeArray($doc); } elseif($type=='json') return json_decode($str,true); elseif($type=='query') { $parse=parse_url($str); parse_str($parse['query'],$params); return $params; } elseif($type=='pathinfo') { } } /** * 根据type类型默认浏览器客户端 * @param type $type * iphone 表示iphone客户端, * pc 表示电脑客户客户端， * android 表示安卓客户端 */ public function setClientType($type) { $userAgent=array( 'pc'=>'Mozilla/5.0 (Windows NT 6.1; rv:23.0) Gecko/20100101 Firefox/23.0', 'iphone'=>'Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10', 'android'=>'Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1' ); if(array_key_exists($type,$userAgent)) $this->opt[CURLOPT_USERAGENT]=$userAgent[$type]; } //关闭当前资源连接 public function close() { curl_close($this->ch); }} 使用示例：
<?phpnamespace iphp\collect\live;use iphp\common\MyFunctions;/** * 基于http://m.iqilu.com/的直播地址解析 * 只有流畅一个清晰度。 * * @author 123 * */class Iqilu extends LiveBase { // 入品地址，可以得到频道列表 public $listUrl = 'http://v.iqilu.com/live/sdtv/'; public $sourceName = 'iqilu'; public function getList() { $lists = array ( 0 => array ( 'sdtv', '98/0', '山东卫视' ), 1 => array ( 'qlpd', '98/1', '齐鲁频道' ), 2 => array ( 'ggpd', '98/2', '公共频道' ), 3 => array ( 'typd', '98/3', '体育频道' ), 4 => array ( 'shpd', '99/2', '生活频道' ), 5 => array ( 'zypd', '100/0', '综艺频道' ), 6 => array ( 'nkpd', '99/0', '农科频道' ), 7 => array ( 'yspd', '99/3', '影视频道' ), 8 => array ( 'sepd', '99/1', '少儿频道' ), 9 => array ( 'gjpd', '100/1', '国际频道' )/*, 10 => array ( 'dspd', '107/6', '读书频道' ) */ ); foreach ( $lists as $item ) { $vid = $item [0] . ',' . $item [1] . ',' . $item [2]; $channel_name = $item [2]; $link = $this->getAll ( $vid ); $this->info [] = array ( 'channel_name' => $channel_name, 'channel_link' => $link ); } return $this->info; } public function one($vid, $format) { $arr2 = explode ( ',', $vid ); if ($format != 1) { return false; } $url = "http://huodong.iqilu.com/active/video/clientnew/public_s/?c="; $str = $this->curl->exec ( array ( 'url' => $url . $arr2 [0], 'header' => array ( 'Host: huodong.iqilu.com', //'User-Agent: Android', //"Referer: http://v.iqilu.com/live/{$arr2[0]}/", 'User-Agent: Mozilla/5.0 (Linux; U; Android 4.4.2; zh-CN; Coolpad 8675 Build/KOT49H) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/9.9.7.500 U3/0.8.0 Mobile Safari/534.30', ), 'referer' => "http://m.iqilu.com/vms/live/{$arr2[0]}/", 'client_type' => "android" ) ); $arr = explode('|', $str); $vid = "http://m3u8.iqilu.com/live/$arr2[1].m3u8?st=".$arr[16].$arr[17]."&e=".$arr[19].$arr[20];//&e={$arr[17]}; return $vid; }}
Der Apache-Start ist fehlgeschlagen
Verwendung der Memset-Funktion
So ändern Sie die Hosts-Datei
Einführung in die Hauptarbeitsinhalte des Backends
ASUS x402c
Was ist der Unterschied zwischen Ibatis und Mybatis?
So richten Sie Textfelder in HTML aus
Kosteneffizienzanalyse des Lernens von Python, Java und C++
