我目前能想到的方法: awk分析日誌 條件求和,更新資料庫。 但當日誌體積龐大時,效率會受到影響。
有沒有更簡潔的方式?
小伙看你根骨奇佳,潜力无限,来学PHP伐。
歡迎試試我們的http_accounting模組,在nginx官網的第三方模組清單裡有喲~
說一下我們的方案,流量1.9kw
1. 前台以 方式記錄傳輸日誌
2. ningx 单独记录 tj.html的訪問日誌
ningx
tj.html
3. syslog 定時 1分鐘分割一次
syslog
4. cronjob 定时1分鐘 處理分析分割好的日誌
cronjob
1
現在我們採用的是1分鐘更新一次mysql数据库,正在打算将当天的数据存储方式放到redis上,而将历史记录放到mongodb 上
mysql
mongodb
只要定時做好日誌切割,每次處理的檔案不會很大。
然後自己寫個小程式統計,效率比較高。
如果有比較靈活的查詢需求,還可以把日誌資訊記錄到資料庫裡頭去,根據時間和必要的欄位建立好索引,用SQL直接查詢就好了。
歡迎試試我們的http_accounting模組,在nginx官網的第三方模組清單裡有喲~
說一下我們的方案,流量1.9kw
1. 前台以 方式記錄傳輸日誌
2.
ningx
单独记录tj.html
的訪問日誌3.
syslog
定時 1分鐘分割一次4.
cronjob
定时1
分鐘 處理分析分割好的日誌現在我們採用的是1分鐘更新一次
mysql
数据库,正在打算将当天的数据存储方式放到redis上,而将历史记录放到mongodb
上只要定時做好日誌切割,每次處理的檔案不會很大。
然後自己寫個小程式統計,效率比較高。
如果有比較靈活的查詢需求,還可以把日誌資訊記錄到資料庫裡頭去,根據時間和必要的欄位建立好索引,用SQL直接查詢就好了。