学习是最好的投资!
記錄上次檔案解析的位置。第二次解析日誌時使用InputStream.skip跳過可避免重複分析資料
InputStream.skip
一個執行緒解析日誌將解析的資料存放在記憶體中,由額外的執行緒專門處理資料(這樣解析的速度會很快5K的資料應該也是秒級的)
日誌分析已經有很多成熟的產品,例如Logstash,不用非得入庫,並且入庫還涉及伺服器io效能,入庫頻次高的時候,反而影響正常業務。
記錄上次檔案解析的位置。第二次解析日誌時使用
InputStream.skip
跳過可避免重複分析資料一個執行緒解析日誌將解析的資料存放在記憶體中,由額外的執行緒專門處理資料(這樣解析的速度會很快5K的資料應該也是秒級的)
日誌分析已經有很多成熟的產品,例如Logstash,不用非得入庫,並且入庫還涉及伺服器io效能,入庫頻次高的時候,反而影響正常業務。