PHP解析Apache access_log

使用PHP 来解析、读取apache 日志文件的应用很少，一般都是通过服务器端脚本来统计日志文件，但是在特殊情况下，可能PHP也会需要这个功能，这里我们就分享一下我的脚本给大家，首先Apache的访问日志文件一般存放在：Apache Access Log /var/log/httpd/access

使用PHP 来解析、读取apache 日志文件的应用很少，一般都是通过服务器端脚本来统计日志文件，但是在特殊情况下，可能PHP也会需要这个功能，这里我们就分享一下我的脚本给大家，首先Apache的访问日志文件一般存放在：Apache Access Log – /var/log/httpd/access_log，这个日志文件的格式需要这样：

IP地址 – [服务器日期/时间] "GET /path/to/page HTTP请求类型"  HTTP响应码 HTTP发送给客户端字节 引用 客户端浏览器

IP ADDRESS – - Server Date / Time [SPACE] "GET /path/to/page HTTP/Type Request" Success Code Bytes Sent To Client Referer Client Browser

我简单的从服务器端访问日志文件中列出2行数据：

123.125.71.83 – - [30/May/2013:00:26:58 +0800] "GET / HTTP/1.1" 301 593 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
65.55.215.72 – - [26/May/2013:11:35:12 +0800] "GET /robots.txt HTTP/1.1" 200 335

主要目的是统计提供给用户下载的文件是不是成功了，下载了多少字节，什么时间下载的等等。

通过解析，最终会得到的结果：

这里的代码就是我做所的工作：

set_time_limit(0);
error_reporting(E_ALL);
ini_set(‘display_errors’, ‘on’);
$ac_arr = file(DRUPAL_PATH . ‘/cron/logs/access_log’);
foreach($ac_arr as $key => $record) {
  $records = preg_split("/([0-9]+\.[0-9]+\.[0-9]+\.[0-9]+)/", $record, -1, PREG_SPLIT_DELIM_CAPTURE);
  $ip = $records[1];
  $left_str = $records[2];
  // parse other fields
  preg_match("/\[(.+)\]/", $left_str, $match);
  $access_time = $match[1];
  $access_unixtime = strtotime($access_time);
  $access_date = date(‘Y-m-d’, $access_unixtime);
  $yesterday_unixtime = strtotime(date("Y-m-d", time())."-1 day");
  $yesterday_date = date(‘Y-m-d’, $yesterday_unixtime);
  //定时任务只保留昨天的访问日志
  if ($yesterday_date != $access_date) {
    continue;
  }
  $left_str = preg_replace("/^([- ]*)\[(.+)\]/", "", $left_str);
  $left_str = trim($left_str);
  preg_match("/^\"[A-Z]{3,7} (.[^\"]+)\"/i", $left_str, $match);
  $full_path = $match[0];
  $http = $match[1];
  $link = explode(" ", $http);
  $uaid = "";
  //统计某个指定访问路径下的下载
  if ($link && preg_match("/^\/course\/automation\/MP+/", $link[0])) {
    preg_match("/uaid=([0-9]+)/", $link[0], $match);
    $uaid = $match[1];
    preg_match("/^\/course\/automation\/(MP[0-9]+\.zip)/", $link[0], $match);
    $course = $match[1];
  }
  else {
    continue;
  }
  $left_str = str_replace($full_path, "", $left_str);
  $left_arr = explode(" ", trim($left_str));
  preg_match("/([0-9]{3})/", $left_arr[0], $match);
  $success_code = $match[1];
  preg_match("/([0-9]+\b)/", $left_arr[1], $match);
  $bytes = $match[1];
  $left_str = str_replace($success_code, "", $left_str);
  $left_str = str_replace($bytes, "", $left_str);
  $left_str = trim($left_str);
  preg_match("/^\"(.[^\"]+)\"/", $left_str, $match);
  $ref = $match[1];
  $left_str = str_replace($match[0], "", $left_str);
  preg_match("/\"(.[^\"]+)/", trim($left_str), $match);
  $browser = $match[1];
  print("
IP: $ip
Access Time: $access_time
Page: $link[0]
Type: $link[1]
Success Code: $success_code
Bytes Transferred: $bytes
Referer: $ref
Browser: $browser

---

");
  //insert into database
  //db_query("INSERT INTO {automation_file_download} (uaid, course, download_date, ip, access_time, page, type, success_code, bytes, referer, browser) VALUES (‘%s’, ‘%s’, ‘%s’, ‘%s’, %d, ‘%s’, ‘%s’, %d, %d, ‘%s’, ‘%s’)", $uaid, $course, $access_date, $ip, $access_unixtime, $link[0], $link[1], $success_code, $bytes, $ref, $browser);
}

简单说明一下我的代码：

(...)
Read the rest of PHP解析Apache access_log (44 words)

---

© lixiphp for LixiPHP, 2013. | Permalink | No comment | Add to del.icio.us
Post tags: access_log, Apache, crontab, Linux

Feed enhanced by Better Feed from Ozh