使用curl和正则表达式抓取网页数据

利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode.

  session_start();
	//封装成类 开启这些自动抓取文章
  #header("Refresh:30;http://www.test.com:8080");
	class SpiderTools{
	//////////////////////////////////////////////////////////////////////////////////////////////////////////
	/*传入文章ID 解析出文章标题*/
	//////////////////////////////////////////////////////////////////////////////////////////////////////////
	public function getBookNameById($aid){
		//初始化curl
		$ch= curl_init();
		//url
		$url='http://www.motie.com/book/'.$aid;
		if(is_numeric($aid)){
		//正则表达式匹配
		$ru="/\s*(.*)\s*\s*/";		}
		else{
		//丧尸爆发之全家求生路_第一章  丧尸爆发 　为吾友爱乐儿更新~_磨铁

		$ru="/(.*)/";<li>		}</li>
<li>		//设置选项，包括URL</li>
<li>		curl_setopt($ch, CURLOPT_URL, $url);</li>
<li>		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容</li>
<li>		curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息</li>
<li>		curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); </li>
<li>		//执行curl</li>
<li>		$output = curl_exec($ch);</li>
<li>		//错误提示</li>
<li>		if(curl_exec($ch) === false){</li>
<li>			die(curl_error($ch));</li>
<li>		}</li>
<li>		// 检查是否有错误发生</li>
<li>		if(curl_errno($ch)){</li>
<li>		echo 'Curl error: ' . curl_error($ch);</li>
<li>		}</li>
<li>		//释放curl句柄</li>
<li>		curl_close($ch);</li>
<li>		$arr=array();</li>
<li>		preg_match_all($ru,$output,$arr);</li>
<li>		return $arr[1][0];</li>
<li>			}</li>
<li>	//////////////////////////////////////////////////////////////////////////////////////////////////////////					</li>
<li>	/*传入文章ID  解析文章内容*/</li>
<li>	//////////////////////////////////////////////////////////////////////////////////////////////////////////</li>
<li>	public  function getBookContextById($aid){</li>
<li>		//开始解析文章</li>
<li>		$ids=array();</li>
<li>		$ids=explode("_",$aid);</li>
<li>		$titleId=trim($ids[0]);</li>
<li>		$aticleId=trim($ids[1]);</li>
<li>		$ch= curl_init();</li>
<li>		$ru="/<div class='\"page-content\"'>[\s\S]*<div class="code" style="position:relative; padding:0px; margin:0px;"><pre ondragstart='\"return' false oncopy='\"return' oncut='\"return' oncontextmenu='\"return' class='\"note\"' id='\"html_content_\d*\"'>[\s\S]*(.*)<img  src="%5C%22%5C/ajax%5C/chapter%5C/%24titleId%5C/%24aticleId%5C%22" class='\"hidden\"' alt="使用curl和正则表达式抓取网页数据 " >/ui";	</pre><div class="contentsignin">Nach dem Login kopieren</div></div>
<li>		$url='http://www.motie.com/book/'.$aid;</li>
<li>		//正则表达式匹配</li>
<li>
<li>		//设置选项，包括URL</li>
<li>		curl_setopt($ch, CURLOPT_URL, $url);</li>
<li>		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容</li>
<li>		curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息</li>
<li>		curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); </li>
<li>		//执行curl</li>
<li>		$output = curl_exec($ch);</li>
<li>		//错误提示</li>
<li>		if(curl_exec($ch) === false){</li>
<li>			die(curl_error($ch));</li>
<li>		}</li>
<li>		// 检查是否有错误发生</li>
<li>		if(curl_errno($ch)){</li>
<li>			echo 'Curl error: ' . curl_error($ch);</li>
<li>		}</li>
<li>		$arr=array();</li>
<li>		$arr2=array();</li>
<li>		preg_match_all($ru,$output,$arr);</li>
<li>		curl_close($ch);</li>
<li>		#var_dump($arr);</li>
<li>		$s=$arr[0][0];</li>
<li>		$s=substr($s,180);</li>
<li>		$arr2=explode("<img  alt="使用curl和正则表达式抓取网页数据 " >		return trim($arr2[0]);</li>
<li>	}</li>
<li>
<li>	//////////////////////////////////////////////////////////////////////////////////////////////////////////	</li>
<li>	/*静态方法 @生成小说文件 可以直接调用 */</li>
<li>	//////////////////////////////////////////////////////////////////////////////////////////////////////////</li>
<li>     public static function createBookById($id){</li>
<li>		</li>
<li>		if(!is_numeric($id)){</li>
<li>
<li>		echo "<br>INIT BEGIN START WRITE!";</li>
<li>		$st=new self();</li>
<li>		$cons=$st->getBookContextById($id);</li>
<li>		$title=$st->getBookNameById($id);</li>
<li>		$cons=trim($cons);</li>
<li>		$t=explode(" ",$title);</li>
<li>		//构造目录</li>
<li>		$dir=array();</li>
<li>		$dir=explode("_",$t[0]);</li>
<li>		$wzdir=$dir[0];		//书名称 作为目录名称</li>
<li>		$wzchapter=$dir[1]; //第几章</li>
<li>		//创建目录</li>
<li>		$wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码 注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码</li>
<li>		if(!file_exists($wzdir2)){</li>
<li>			mkdir($wzdir2); //创建目录</li>
<li>		}</li>
<li>		//构造文件名</li>
<li>		$wztitle="./".$wzdir."/"."$t[0]".".txt";</li>
<li>		//保证保存的文件名称不是乱码</li>
<li>		$wztitle=iconv("UTF-8", "GBK", $wztitle);</li>
<li>		$f=fopen($wztitle,"w+");</li>
<li>		fwrite($f,$cons);</li>
<li>		echo "<font color="green">$wzdir </font>".$wzchapter."<font color="red">写入成功</font>";</li>
<li>		fclose($f);	</li>
<li>		</li>
<li>		}	</li>
<li>		else{</li>
<li>		$ids=self::getBookIdsById($id);	</li>
<li>	</li>
<li>		//这里服务器可能会掉线，所以最好用session记录循环</li>
<li>		#for($i=$_SESSION["$id"."_fid"];$i	</li>
<li>			#self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id</li>
<li>		#}</li>
<li>		</li>
<li>		for($i=$_SESSION["$id"."_fid"];$i	</li>
<li>			self::createBookById($id."_".$ids[$i]);//构造id</li>
<li>		}</li>
<li>		</li>
<li>		#echo "<hr>
<hr>
<br><h1>写入工作全部完成</h1>";</li>
<li>		#echo $id."_".$ids[0]."<br>";	</li>
<li>		#var_dump($ids);</li>
<li>		</li>
<li>		}</li>
<li>
<li>	}</li>
<li>		/*</li>
<li>		获取小说的所有ID</li>
<li>		@param $id 文章ID</li>
<li>		@return array;</li>
<li>		*/</li>
<li>		public static function getBookIdsById($aid){	</li>
<li>		$ch= curl_init();</li>
<li>		$url='http://www.motie.com/book/'.$aid."/chapter";</li>
<li>		//注意这里的?可以获取最少匹配项</li>
<li>		$ru='/[\s\S]*?</li>
<li class='\"\"' createdate='\"\d{4}\-\d{2}\-\d{2}'>[\s\S]*?<a href="%5C%22%5C/book%5C/'.%24aid.'_(%5Cd*?)%5C%22%5Cs%E7%A8%8B%E5%BA%8F%E7%8C%BF%E7%AC%91%E8%AF%9D">.*?.*?/u';//正则表达式匹配<li>		//设置选项，包括URL</li>
<li>		curl_setopt($ch, CURLOPT_URL, $url);</li>
<li>		curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动输出内容</li>
<li>		curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息</li>
<li>		curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); </li>
<li>		//执行curl</li>
<li>		$output = curl_exec($ch);</li>
<li>		// 检查是否有错误发生</li>
<li>		if(curl_errno($ch)){</li>
<li>		echo 'Curl error: ' . curl_error($ch);</li>
<li>		}</li>
<li>		//释放curl句柄</li>
<li>		curl_close($ch);</li>
<li>		$arr=array();</li>
<li>		preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);</li>
<li>		return $arr[1];</li>
<li>		}</li>
<li>				}</li>
<li>
<li>
<li>		</li>
<li>		</li>
<li>		</li>
<li>		</li>
<li>		</li>
<li>		</li>
<li>?></li></a>
</li>
</div>
<em onclick="copycode($('code_Sfk'));">复制代码</em>
</li>