URL 크롤러

csdn의 포인트 없는 다운로드, pudn의 포인트 없는 다운로드 또는 포인트 없는 51cto가 필요한 경우 http://www.itziy.com/
으로 이동하여 명령줄에서 직접 PHP 호출을 실행하세요.
기능 설명
1. 프록시 지원
2. 재귀 검사 횟수 설정 지원
3. 출력 유형 제어 및 내용 검사 지원

기능:
주로 육안을 대체하고 가능한 한 많은 요청 패킷과 URL 주소를 캡처하여 침투 테스트를 용이하게 합니다.

error_reporting(E_ERROR | E_WARNING | E_PARSE);
ini_set('memory_limit','1024M');
set_time_limit(0);
define('CHECK_A_TAG', false);
define('CHECK_JS_TAG', true);
define('CHECK_URL', true);
define('SAVE_ERROR', true);

$checkArr = array(
 '$.load',
 '.ajax',
 '$.post',
 '$.get',
 '.getJSON '
);

if ($argc < 2)
 die(showerror('죄송합니다, 매개변수 오류', array('예: php debug.php url num 파일 이름 헤더 프록시', '상세정보:', 'url: 확인하고 싶은 대상 url 주소', 'num: 재귀 페이지 수,기본값 3', 'filename: 출력 파일명 기본 이름 ret.txt', 'header: The 요청 헤더 파일 기본값 null', '프록시: 프록시를 사용하려면 여기에서 설정하세요. 기본값은 프록시를 사용하지 마세요.')));

if (!check_extension())
 die(showerror('extension) 컬이 지원되지 않음', 'PHP 컬 확장 지원을 열어주세요'));

//전역 변수
$url = Trim($argv[1]);
if (stripos($url , 'http') === false)
 $url = 'http://'.$url;
$num = isset($argv[2]) ? intval($argv[2]) : 3;
$output = isset($argv[3]) ? Trim(str_replace("\", '/', $argv[3])) : str_replace("\", '/', dirname(__FILE__) )).'/ret.txt';
$header = null;
$proxy = null;
$host = null;

if (isset($argv[4]) )
{
 $header = Trim(str_replace("\", '/', $argv[4]));
 if (file_exists($header))
 $header = array_filter( 폭발("n", str_replace("r", '', file_get_contents($header))));
 else
 {
 $file = str_replace("\", '/', dirname( __FILE__)).'/'.$header;
 if (file_exists($file))
 $header = array_filter(explode("n", str_replace("r", '', file_get_contents($file) )));
 else
 $header = null;
 }
}

if (isset($argv[5]))
 $proxy = Trim($ argv[5]);

if (!is_array($header) || 비어 있음($header))
 $header = null;
$result = check_valid_url($url);
$outputArr = array();

if (!empty($result))
{
 $result = str_replace("r", '', $result);
 $ result = str_replace("n", '', $result);
 $tmpArr =parse_url($url);
 if (!isset($tmpArr['host']))
 die(showerror ('URL 구문 분석 오류', '호스트 양식 URL을 가져올 수 없습니다: '.$url));
 $host = $tmpArr['host'];
 if (stripos($host, 'http') === false)
 $host = 'http://'.$host;
 unset($tmpArr);

 //현재 페이지 확인
 if (!isset( $outputArr[md5($url)]))
 {
 $outputArr[md5($url)] = $url;
 file_put_contents($output, $url."n", FILE_APPEND);
 echo 'url: ',$url,' ajax가 필요하므로 저장하세요',PHP_EOL;
 }
 work($result);
}
echo 'run final',PHP_EOL;

함수 작업($result, $reverse = false)
{
 전역 $num, $host, $outputArr, $checkArr, $output;

 if (!$ 결과)
 반환;
 $result = str_replace("r", '', $result);
 $result = str_replace("n", '', $result);

 while ($num > 0)
 {
 echo 'remain: ',$num,' 이제 URL 주소 확인을 시작합니다.',PHP_EOL,PHP_EOL;
 preg_match_all('//i', $result, $match);
 if (CHECK_A_TAG && isset ($match[2]) && !empty($match[2]))
 {
 foreach ($match[2]를 $mc로)
 {
 $mc = Trim($mc );
 if ($mc == '#')
 계속;
 if (stripos($mc, 'http') === false)
 $mc = $host.$mc ;

 if (($ret = check_valid_url($mc)))
 {
 if (!isset($outputArr[md5($mc)]))
 {
 $outputArr[md5($mc)] = $mc;
 file_put_contents($output, $mc."n", FILE_APPEND);
 echo 'url: ',$mc,' find ajax require이므로 저장하세요. ',PHP_EOL;
 }
 }
 }
 }

 //페이지 URL 확인
 echo 'remain: ',$num', 이제 확인을 시작합니다. 페이지 URL',PHP_EOL,PHP_EOL;
 preg_match_all('/(https?|ftp|mms)://([A-z0-9] [_-]?[A-z0-9] .)*[ A-z0-9] -?[A-z0-9] .[A-z]{2,}(/.*)*/?/i', $result, $match);
 if (CHECK_URL && isset($match[2]) && !empty($match[2]))
 {
 foreach ($match[2] as $mc)
 {
 $mc = Trim($mc);
 if ($mc == '#')
 continue;
 if (stripos($mc, 'http') === false)
 $mc = $host.$mc;

 if (($ret = check_valid_url($mc)))
 {
 if (!isset($outputArr[md5($mc)]))
 {
 $outputArr[md5($mc)] = $mc;
 file_put_contents($output, $mc ."n", FILE_APPEND);
 echo 'url: ',$mc,' find ajax가 필요하므로 저장하세요',PHP_EOL;
 }
 }
 }
 }

 //javascript ajax require 확인
 echo 'remain: ',$num', 이제 javascript ajax require 확인을 시작합니다',PHP_EOL,PHP_EOL;
 preg_match_all('//i', $result, $match);
 if (CHECK_JS_TAG && isset($ match[2]) && !empty($match[2]))
 {
 foreach ($match[2]를 $mc로)
 {
 $mc = Trim($mc);
 if ($mc == '#')
 계속;
 if (stripos($mc, 'http') === false)
 $mc = $host.$mc;

 if (($ret = check_valid_url($mc)))
 {
 //현재 페이지 확인
 foreach ($checkArr as $ck)
 {
 if (!isset($outputArr[md5($mc)]) && strpos($ret, $ck) !== false)
 {
 $outputArr[md5($mc)] = $mc;
 file_put_contents($output, $mc."n", FILE_APPEND);
 echo 'url: ',$mc,' find ajax require so save it',PHP_EOL;
 break;
 }
 }
 }
 }
 }

 if ($reverse)
 return;

 //다음 페이지 확인
 preg_match_all('/< ;a.*?hrefs*=s*("|'|s) (.*?)("|'|s) .*?>/i', $result, $match);
 if ( isset($match[2]) && !empty($match[2]))
 {
 echo '다음 페이지 확인, 페이지 수 남음: ',$num,PHP_EOL;
 foreach ($ match[2] as $mc)
 {
 $mc = Trim($mc);
 if ($mc == '#')
 continue;
 if (stripos($ mc, 'http') === false)
 $mc = $host.$mc;
 echo '다음 페이지 확인: ',$mc,PHP_EOL;
 work(check_valid_url($mc) , true);
 }
 }
 $num--;
 sleep(3);
 }
}

function check_valid_url($url)
{
 if (stripos($url, 'http') === false)
 $url = 'http://'.$url;
 $ch = cur_init();
 컬_setopt($ch, CURLOPT_URL, $url);
 컬_setopt($ch, CURLOPT_HEADER, true);
 컬_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
 컬_setopt($ch, CURLOPT_RETURNTRANSFER, true);
 컬_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0(호환 가능; 구글봇/2.1;  http://www.google.com/bot.html)');
 if (!is_null($header))
 cur_setopt($ch, CURLOPT_HTTPHEADER, $header);
 if (!is_null ($proxy))
 컬_setopt($ch, CURLOPT_PROXY, $proxy);
 $ret = 컬_exec($ch);
 $errinfo = 컬_오류($ch);
 컬_닫기($ch );
 unset($ch);
 if (!empty($errinfo) || ((strpos($ret, '200 OK') === false) && (strpos($ret, '302 이동됨') === false)) || strpos($ret, '114so.cn') !== false)
 {
 showerror('check url: '.$url. ' 일부 오류를 찾으세요.' , array($errinfo, $ret));
 if (SAVE_ERROR)
 file_put_contents(dirname(__FILE__).'/error.txt', $url."n", FILE_APPEND);
 return false ;
 }
 return $ret;
}

function check_extension()
{
 if (!function_exists('curl_init') || !extension_loaded('curl' ))
 false 반환;
 true 반환;
}

function showerror($t, $c)
{
 $str = "###### ############################################# ################n";
 $str .= "# ".$t."n";
 if (is_string($c))
 $str .= "# ".$c;
 elseif (is_array($c) && !empty($c))
 {
 foreach ($c를 $c1로)
 $ str .= "# ".$c1."n";
 }
 $str .= "n##################### ############################################# n";
 echo $str;
 unset($str);
}