想写一个python分析统计apache 日志文件的脚本

Question

想写一个python分析统计apache 网站日志文件并将统计后的数据存入mysql中的的脚本，有没有参考的，没有思路
主要是统计 哪些url被爬取了 及 被爬取次数，以及IP这两个

Answer 1

先把原始資料 規整化，然後 key 值自己定，再用 collections 的 Counter 統計，再遍歷寫入 db， 大概程式碼如下：

data = ['/a 1.2.1.2', '/b 2.2.2.2', '/c 1.1.1.1', '/d 2.2.2.2', '/d 2.2.2.2']
from collections import Counter
c = Counter(data)
print c

Counter({'/d 2.2.2.2': 2, '/b 2.2.2.2': 1, '/a 1.2.1.2': 1, '/c 1.1.1.1': 1})

你也可以自己維護字典，鍵為：/PATH:IP 或者什麼，自己定，然後一邊遍歷，一邊添加就好了