大型高并发网站的日志架构是什么样子？一般存储哪些数据？

Question

这里是否有来自BAT的开发和运维，或者有大型高并发网站开发运维经验的大神？

请问一下你们开发过的网站一般日志架构都是什么样子？后端如何存储，前后端服务器如何与日志服务器进行通信？

还有日志一般都要存储一些什么东西？哪些地方需要记录日志？

日志一般保存多久，像BAT之类的网站日均PV非常大，那么那么多的日志该怎么保存？

Answer 1

我正在做的一个项目是用elasticsearch + logstash 做的日志系统, 然后你可以把你想存的数据都往logstash里存, 显示日志的话,就从elastichsearch 里面请求就行了

Answer 2

运维本来就是非常简单的东西，小小日志系统根本不需要BAT经验也能随便想出来。

日志直接本地循环写文件，然后日志系统远程收集。如果需要进行业务跟踪，那就设计一套编号原则，把一个请求经过的每个组件都按照规则编上号存到日志里，取日志时就能还原整个流程。存储的话，项目组有多少资源，就存多少日志呗。日志这个东西，当然存的越久越好。至于怎么存，没钱就存到渣渣PC集群 + 渣渣机械硬盘上，有钱直接上光交 + 专用存储设备 + 高性能SSD。

Answer 3

如果使用的开发语言本身效率就很好的话就好说，做一个单例的日志类，按模块将日志文件划分开，日志详细到能够根据日志还原程序运行时的情景。 如果语言效率不是很高（PHP python），要考虑到并发的话，可以使用C++ 写扩展。