学习是最好的投资!
记录上次文件解析的位置。第二次解析日志时使用InputStream.skip跳过可避免重复分析数据
InputStream.skip
一个线程解析日志将解析的数据存放在内存中,由额外的线程专门处理数据(这样解析的速度会很快5K的数据应该也是秒级的)
日志分析已经有很多成熟的产品,比如Logstash,不用非得入库,并且入库还涉及服务器io性能,入库频次高的时候,反而影响正常业务。
记录上次文件解析的位置。第二次解析日志时使用
InputStream.skip
跳过可避免重复分析数据一个线程解析日志将解析的数据存放在内存中,由额外的线程专门处理数据(这样解析的速度会很快5K的数据应该也是秒级的)
日志分析已经有很多成熟的产品,比如Logstash,不用非得入库,并且入库还涉及服务器io性能,入库频次高的时候,反而影响正常业务。