python正規分析nginx的訪問日誌

高洛峰
發布: 2017-02-21 10:46:40
原創
1315 人瀏覽過

前言

本文的腳本是分析nginx的訪問日誌, 主要為了檢查站點uri的訪問次數的,檢查的結果會提供給研發人員做參考,因為談到分析嘛,那肯定要用到正規表示式了,所以請沒有接觸過正則的小伙伴自行補腦,因為涉及正則的內容,實在沒法展開寫,正則的內容太過龐大,根本不是一篇兩篇能寫清楚的。

開始前,我們先來看看要分析的日誌結構:

127.0.0.1 - - [19/Jun/2012:09:16:22 +0100] "GET /GO.jpg HTTP/1.1" 499 0 "http://domain.com/htm_data/7/1206/758536.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; SE 2.X MetaSr 1.0)"
127.0.0.1 - - [19/Jun/2012:09:16:25 +0100] "GET /Zyb.gif HTTP/1.1" 499 0 "http://domain.com/htm_data/7/1206/758536.html" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; QQDownload 711; SV1; .NET4.0C; .NET4.0E; 360SE)"
登入後複製

這是修改過的日誌內容,敏感內容都以刪除或替換了,不過不影響我們的分析結果,當然格式什麼的這都不重要,Nginx訪問日誌是可以自訂的,每家公司可能都會稍有不同,所以要能理解腳本內容,並透過自己修改應用到了自己工作中才是重點,我給的日誌格式也就是個參考,我打賭你在你公司伺服器上看到的日誌格式肯定跟我的格式不一樣, 看完日誌格式,我們開始要寫我們的腳本了

我先貼程式碼,稍後再解釋:

import re
from operator import itemgetter
 
def parser_logfile(logfile):
 pattern = (r''
   '(\d+.\d+.\d+.\d+)\s-\s-\s' #IP address
   '\[(.+)\]\s' #datetime
   '"GET\s(.+)\s\w+/.+"\s' #requested file
   '(\d+)\s' #status
   '(\d+)\s' #bandwidth
   '"(.+)"\s' #referrer
   '"(.+)"' #user agent
  )
 fi = open(logfile, 'r')
 url_list = []
 for line in fi:
  url_list.append(re.findall(pattern, line))
 fi.close()
 return url_list
 
def parser_urllist(url_list):
 urls = []
 for url in url_list:
  for r in url: 
   urls.append(r[5])
 return urls
 
def get_urldict(urls):
 d = {}
 for url in urls:
  d[url] = d.get(url,0)+1
 return d
 
def url_count(logfile):
 url_list = parser_logfile(logfile)
 urls = parser_urllist(url_list)
 totals = get_urldict(urls)
 return totals
 
if __name__ == '__main__':
 urls_with_counts = url_count('example.log')
 sorted_by_count = sorted(urls_with_counts.items(), key=itemgetter(1), reverse=True)
 print(sorted_by_count)
登入後複製

腳本解釋,parser_logfile()函數功能是分析日誌,返回匹配的行列表,正則部分就不解釋了,大家看註釋應該知道它是匹配什麼內容的,parser_urllist()函數功能是將取得使用者存取的url,get_urldict()函數功能是傳回字典,以url為鍵,如果鍵相同值增1,傳回的字典是每個url和最大的訪問次數,url_count()函數功能就是呼叫了先前定義的函數,主函數部分,就說說itemgetter,它可以實現按指定元素進行排序,舉例就明白了:

>>> from operator import itemgetter
>>> a=[('b',2),('a',1),('c',0)] 
>>> s=sorted(a,key=itemgetter(1))
>>> s
[('c', 0), ('a', 1), ('b', 2)]
>>> s=sorted(a,key=itemgetter(0))
>>> s
[('a', 1), ('b', 2), ('c', 0)]
登入後複製

reverse=True參數表示降序排序,就是從大到小排序,腳本運行結果:

[('http://domain.com/htm_data/7/1206/758536.html', 141), ('http://domain.com/?q=node&page=12', 3), ('http://website.net/htm_data/7/1206/758536.html', 1)]
登入後複製

更多python正規分析nginx的訪問日誌相關文章請關注PHP中文網!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!