想写一个python分析统计apache 日志文件的脚本

问题描述

问 题

想写一个python分析统计apache 网站日志文件并将统计后的数据存入mysql中的的脚本，有没有参考的，没有思路
主要是统计 哪些url被爬取了 及 被爬取次数，以及IP这两个

解决方案

先把原始数据 规整化，然后 key 值自己定，然后用 collections 的 Counter 统计，然后再遍历写入 db， 大概代码如下：

data = ['/a 1.2.1.2', '/b 2.2.2.2', '/c 1.1.1.1', '/d 2.2.2.2', '/d 2.2.2.2']
from collections import Counter
c = Counter(data)
print c

Counter({'/d 2.2.2.2': 2, '/b 2.2.2.2': 1, '/a 1.2.1.2': 1, '/c 1.1.1.1': 1})

你也可以自己维护字典，键为：/PATH:IP 或者什么，自己定，然后一边遍历，一边添加就好了

这篇关于想写一个python分析统计apache 日志文件的脚本的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！