Home > php教程 > php手册 > body text

IIS日志分析搜索引擎爬虫记录程序

WBOY
Release: 2016-06-21 08:58:12
Original
1291 people have browsed it

使用注意:

  修改iis.php文件中iis日志的绝对路径

  例如:$folder=”c:/windows/system32/logfiles/站点日志目录/”; //后面记得一定要带斜杠(/)。

  ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看!

  直接查看法:http://站点域名/iis.php

  本地查看法:把日志下载到本地 http://127.0.0.1/iis.php )

  注意:

  //站点日志目录,注意该目录必须要有站点用户读取权限!

  //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。

  //修改文件名称iis.php 需要同时修改对应代码 ctrl+h 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。

  //如果iis日志文件过大,可能会导致程序超时!同时也不建议大家使用!


 









";
   }
   }
 closedir($fp);
 $html = indexhtml();
 $copy = mycopy();
 $html = str_replace("[showlog]",$indexstr,$html);
 $html = str_replace("[copy]",$copy,$html);
 echo $html;
}else{
  echo "该日志目录不存在或权限不足,请检查设置!";
  exit();
 }
 }elseif ($type==’Baiduspider’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’Googlebot’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’yahoo’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’YodaoBot’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’Sosospider’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’Sogou’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }elseif ($type==’msnbot’){
  echo show($type,$folder,$showfile,$page,$pagesize);
 }

function show($type,$folder,$showfile,$page,$pagesize)
{
 if ($type==’Baiduspider’)
 {
  $title=’百度’;
 }elseif ($type==’Googlebot’){
  $title=’谷歌’;
 }elseif ($type==’yahoo’){
  $title=’雅虎’;
 }elseif ($type==’YodaoBot’){
  $title=’有道’;
 }elseif ($type==’Sosospider’){
  $title=’搜搜’;
 }elseif ($type==’Sogou’){
  $title=’搜狗’;
 }elseif ($type==’msnbot’){
  $title=’MSN’;
 }
 if ($type&&$folder&&$showfile)
 {
  if(file_exists($folder.$showfile))
  {
  $fp= fopen($folder.$showfile,"r");
  }else{
   echo "该日志文件不存在,请检查设置!";
   exit;
  }
  $j=0;
  $y=0;
  $t=0;
  $h=0;
  while (!feof($fp))
  {
   $str = fgets($fp);
    $str =iconv("UTF-8","GB2312//IGNORE",$str);
   if(strpos($str,$type))
   {
    $j++;
    $temp[].=$str;
    $tmpcount = explode(" ",$str);
    if ($tmpcount[11]==200)$t++;
    if ($tmpcount[11]==304)$h++;
    if ($tmpcount[11]==404)$y++;
   }
  }
  fclose($fp);
  $count = count($temp);
  if ($page==1)
  {
   $countshow=$count;
   $mynum = $count-$pagesize;
  }else{
   $countshow =$count-($page*$pagesize-$pagesize);
   $mynum = $count-$page*$pagesize;
  }
  $pagecount =ceil(count($temp) / $pagesize);
  if ($page>=$pagecount)
  {
   $mynum = $pagecount;
  }
  $m=0;
  for ($i=$countshow-1;$i>=$mynum;$i--)
  {
   $num = explode(" ",$temp[$i]);
            $domain="http://tarr.cn"; //网站URL 末尾不要带斜杠
    $show.="





";
  }
  unset($temp);
  $showpage = "";
  if ($show)
  {
  $html = pagehtml();
  $copy = mycopy();
  $htmltitle = "牛仔IIS日志蜘蛛爬行记录分析器 茄咧啡修改版";//请保留,谢谢!
  $html = str_replace("[title]",$title,$html);
  $html = str_replace("[htmltitle]",$htmltitle,$html);
  $html = str_replace("[show]",$show,$html);
  $html = str_replace("[count]",$j,$html);
  $html = str_replace("[page]",$showpage,$html);
  $html = str_replace("[y]",$y,$html);
  $html = str_replace("[t]",$t,$html);
  $html = str_replace("[h]",$h,$html);
  $html = str_replace("[copy]",$copy,$html);
  return $html;
  }
 }
}
function indexhtml()
{
 return ’



牛仔IIS日志蜘蛛爬行记录分析器 V1.1



以下是PHP源代码:
 /*
  牛仔IIS日志蜘蛛爬行记录分析器 V1.1(PHP GB2312 版)
  作者:牛仔
  QQ:172379201
  Email:17gd@163.com
 */
 //===================================================
  header("content-type:text/html; charset=gb2312");
 //站点日志目录,注意该目录必须要有站点用户读取权限!
 //如果把日志下载到本地请修改143行的网址为您网站的网址,此操作不是必要操作,不影响分析结果。
 //如果修改了文件名称iis.php 需要同时修改代码 Ctrl+H 把 iis.php全部替换成您要修改的文件名 否则程序运行出错。
 $folder="D:/Vhost/WebRoot/jooker82465/www/wordpress/uploads/W3SVC87164023/";  //后面记得一定要带斜杠 / !
 $pagesize = 50;//设置分页显示条数!
 //=========================
$type = addslashes($_GET[’type’]);
if ($type)$type = base64_decode($type);
$showfile = addslashes($_GET[’showfile’]);
$page = addslashes($_GET[’page’]);
if (!$page)$page=1;
//============================
 //打开目录
 if (!$type){
 if (file_exists($folder))
 {
  $fp=opendir($folder);
  while(false!=$file=readdir($fp))
  {
     if($file!=’.’ &&$file!=’..’)
     {
         $file="$file";
         $arr_file[]=$file;
        }
  }
  if(is_array($arr_file))
  {
   for ($i=count($arr_file)-1;$i>=0;$i--)
   {
    $indexstr.="
".date("Y-m-d",filectime($folder.$arr_file[$i]))."
百度(Baidu)

谷歌(Google)

雅虎(yahoo)

有道(yodao)

搜搜(soso)

搜狗(sogou)

微软(msn)
".$num[0]." ".$num[1]." ".$num[9]." ".$num[5]." ".$num[11]."
每页 ".$pagesize." 条 当前".$page."/$pagecount";
  $showpage.="  首页";
  if ($page!=1)
  {
   $showpage.="  上一页";
  }
  if ($page!=$pagecount)
  {
  $showpage.="  下一页";
  $weei = "  尾页";
  }
  $showpage.=$weei."

 
  
 
 
  
  
 
 
  [showlog]
 

  牛仔IIS日志蜘蛛爬行记录分析器 茄咧啡修改版
日期 引擎

[copy]

’;
}
function pagehtml()//============显示模板,标签代替显示内容!
{
 return  ’



[title]蜘蛛爬行分析 - [htmltitle]




 
 
 
  
  
 
 
  
  
  
  
 
 [show]
 
  [page]
 
返回日志目录 | dj965
  

  [title]蜘蛛爬行分析
本日志[title]蜘蛛共爬行 [count] 次,其中正常 [t] 个,死链 [y] 个,缓存 [h] 个
时间 蜘蛛IP 被爬URL 爬行结果

[copy]

’;
}
function mycopy()
{
 return ’
 
  
 
 
  
 
 
  
注备说明

  

 正常:表示该面页蜘蛛访问正常,并已经下载。爬行状态返回200。


  

 死链:表示蜘蛛访问的面页不存在或链接错误,爬行状态返回404。


  

 缓存:表示蜘蛛之前已经爬过的面页且该面页未更新过,蜘蛛缓存区已存在该文件,不再下载该面页内容。爬行状态返回304。


  

 注意:蜘蛛爬过的面页不一定会放出来,因为蜘蛛爬回去的数据须经过引擎规则筛选后才会放出来,至于详细请查看引擎收录帮助。


  

  

 程序名称:牛仔IIS日志蜘蛛爬行记录分析器 - 茄咧啡修改版 修改者:茄咧啡

 
  

*******************************************************


  

 原程序名称:牛仔IIS日志蜘蛛爬行记录分析器

 
  

 原作者:牛仔


  

 QQ:172379201


  

 Email:17gd$163.com ($转换@)


  

 注意:本程序只供大家学习使用,请勿用作商业用途。


 
’;
}
?>



Related labels:
source:php.cn
Statement of this Website
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Popular Recommendations
Popular Tutorials
More>
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template
About us Disclaimer Sitemap
php.cn:Public welfare online PHP training,Help PHP learners grow quickly!