想写一个python分析统计apache 日志文件的脚本

Question

想写一个python分析统计apache 网站日志文件并将统计后的数据存入mysql中的的脚本，有没有参考的，没有思路
主要是统计 哪些url被爬取了 及 被爬取次数，以及IP这两个

Answer 1

先把原始数据 规整化，然后 key 值自己定，然后用 collections 的 Counter 统计，然后再遍历写入 db， 大概代码如下：

data = ['/a 1.2.1.2', '/b 2.2.2.2', '/c 1.1.1.1', '/d 2.2.2.2', '/d 2.2.2.2']
from collections import Counter
c = Counter(data)
print c

Counter({'/d 2.2.2.2': 2, '/b 2.2.2.2': 1, '/a 1.2.1.2': 1, '/c 1.1.1.1': 1})

你也可以自己维护字典，键为：/PATH:IP 或者什么，自己定，然后一边遍历，一边添加就好了