컬과 정규식을 사용하는 PHP 스파이더 크롤러

Fengwang fcms 콘텐츠 관리 시스템
get.php 프레임워크 캡처, 웹 콘텐츠 분석 및 처리, 관련 교체 수행
std.php 일반 규칙성
news_67_com.php http://news.67.com에 대한 크롤링 분석기
먼저 목록을 가져온 다음 콘텐츠 페이지를 가져옵니다.
또한 모니터링, 통계, 오류 처리 기능도 부족합니다. 개인적으로는 그게 더 재미있다고 생각해요.

include_once dirname(__FILE__) . '/std.php';

$site = array(
    'aname'     => '中国娱乐网',
    'domain'    => 'news.67.com',
    'dirname'   => '目录名称，用于匹配基于目录不同的正文',
    'gettype'   => 'default',
	//获取主文件
    'creg'      => '/(?si)(.*?)\<\!--文章 end-->/',
    'code'      => 'utf-8',
    'sub'       => '获取子目录正则',
    'content'   => 'tag1',
	'img_upload'=> array('tag1' => ''),
	//下一页
    'reg_next'  => '/(?is)下一页\>\><\/a>/',

전역 $std;
$std = array(
 'url' => '[0-9a-zA-Z. :-/%_#;&] ',
 'img' => '/(?is)/',
);

/**
 * test.php
 *
 * @author xzfred
 * @copyright 2009 fengone.com
 * @created 2010-12-07 .
 * @version $Id: php.php 3 2008-10-10 07:49:21Z fred $
 * SVNPath $HeadURL: http://192.168.0.16/svn/vim/skeletons/php.php $
*/
/*
include_once "std.php";
include_once "lady_163_com.php ";
 */
include_once $GLOBALS['g_dir_core'] . "get.php";

//================= = ================================================ = =============
include_once DIR_HOST_TAG '/tuku_ent_china_com.php';
$obj = new FcHtmlParse($site);
$c = $obj-> ; 구문 분석(file_get_contents("http://tuku.ent.china.com/fun/html/2011-08-23/181703.xml"));
echo "nnn ========= = =========n";
echo $c['field']['tag1'][0];
echo "nnn =========== = =======n";
var_dump($c);

exit();
//목록 테스트
$obj = new FcHtmlParse($site_list);
$c = $obj->parse(file_get_contents("http://tuku.ent.china.com/fun/html/3569_1.html"));
var_dump($c);
 종료();
/*

$obj = new FcHtmlGet($site);
$c = $obj->getPage('http://star.pclady.com. cn /entertainment/ss/1106/703240.html');
var_dump($c);

$obj = new FcHtmlGet($site);
$c = $obj-> getPage ('http://star.pclady.com.cn/entertainment/ss/1106/703240.html');
var_dump($c);

$obj = new FcHtmlParse($site ) ;
$img_obj = 새로운 FcHtmlImgUpload($site);

$data = file_get_contents("e:/b.html");
$c = $obj->parse($ 데이터 );
$ic = $img_obj->upload($c['tag']['tag1'][0]);
var_dump($ic);

$data = file_get_contents("e:/a.html");
$c = $obj->parse($data);
$ic = $img_obj->upload($c['tag'] [ 'tag1'][0]);
var_dump($ic);
 */

//var_dump($c['tag']['tag1']);

include_once $GLOBALS['g_dir_core'] . 'host/std.php';

$site = array(
    'aname'     => '中华网娱乐图库',
    'domain'    => 'tuku.ent.china.com',
    'dirname'   => '目录名称，用于匹配基于目录不同的正文',
    'gettype'   => 'default',
	//获取主文件
    'creg'      => '/(?si)(.*?<\/list>)/',
    'code'      => 'utf-8',
    'sub'       => '获取子目录正则',
    'content'   => 'tag1',
	'img_upload'=> array('tag1' => ''),
	//下一页
    'reg_next'  => '/(?is)下一页<\/a>/',
下一页<\/a><\/li>/',
    'tag0'      => '/(?is).*?<\/span>[^<^>]*?<\/a><\/div>/',
    'tag1'      => '/(?is).*?<\/span>([^<^>]*?)<\/a><\/div>/',