Linux運維故障排查思路，有這篇文章就夠了~-linux運維-PHP中文網

#有時候會遇到一些疑難雜症，並且監控外掛程式並不能一眼立刻發現問題的根源。這時候就需要登入伺服器進一步深入分析問題的根源。那麼分析問題就需要有一定的技術經驗積累，而且有些問題涉及到的領域非常廣，才能定位到問題。所以，分析問題和踩坑是非常鍛鍊一個人的成長和提升自我能力。如果我們有一套好的分析工具，那將是事半功倍，能夠幫助大家快速定位問題，節省大家很多時間做更深入的事情。

Linux 維運故障排查思路，有這篇文章就夠了~

#2. 說明

本篇文章主要介紹各種問題定位的工具以及會結合個案分析問題。

3. 分析問題的方法論

套用5W2H方法，可以提出效能分析的幾個問題

What-現像是什麼樣的
When-什麼時候發生
Why-為什麼會發生
Where-哪個地方發生的問題
How much-耗費了多少資源
How to do-怎麼解決問題

4. cpu

4.1 說明

#針對應用程序，我們通常關注的是核心CPU調度器功能和效能。

執行緒的狀態分析主要是分析執行緒的時間用在什麼地方，而執行緒狀態的分類一般分為：

on- CPU：執行中，執行中的時間通常又分為使用者態時間user和系統態時間sys。
off-CPU：等待下一輪上CPU，或是等待I/O、鎖定、換頁等等，其狀態可以細分為可執行、匿名換頁、睡眠、鎖、空閒等狀態。

如果大量時間花在CPU上，對CPU的剖析能夠迅速解釋原因；如果系統時間大量處於off-cpu狀態，定位問題就會費時很多。但仍需要清楚一些概念：

處理器
#硬體執行緒
#CPU記憶體快取
時脈頻率
每個指令周期數CPI與每週期指令數IPC
#CPU指令
使用率
使用者時間／核心時間
調度器
運行佇列
搶佔
多重行程

#4.2 分析工具 Linux 維運故障排查思路，有這篇文章就夠了~

##### ####

說明:

uptime，vmstat，mpstat，top，pidstat 只能查詢到cpu及負載的使用情況。
perf可以跟著到進程內部特定函數耗時情況，並且可以指定核心函數進行統計，指哪打哪。

4.3 使用方式

//查看系统cpu使用情况top
//查看所有cpu核信息mpstat -P ALL 1
//查看cpu使用情况以及平均负载vmstat 1
//进程cpu的统计信息pidstat -u 1 -p pid
//跟踪进程内部函数级cpu使用情况 perf top -p pid -e cpu-clock

登入後複製

#5. 記憶體

5.1說明

記憶體是為提高效率而生，實際分析問題的時候，記憶體出現問題可能不只是影響效能，而是影響服務或造成其他問題。同样对于内存有些概念需要清楚：

牛逼啊！接私活必备的 N 个开源项目！赶快收藏

登入後複製

主存
虚拟内存
常驻内存
地址空间
OOM
页缓存
缺页
换页
交换空间
交换
用户分配器libc、glibc、libmalloc和mtmalloc
LINUX内核级SLUB分配器

5.2 分析工具

Linux 維運故障排查思路，有這篇文章就夠了~

说明：

free，vmstat，top，pidstat，pmap只能统计内存信息以及进程的内存使用情况。
valgrind 可以分析内存泄漏问题。
dtrace 动态跟踪。需要对内核函数有很深入的了解，通过D语言编写脚本完成跟踪。

5.3 使用方式

//查看系统内存使用情况free -m//虚拟内存统计信息vmstat 1//查看系统内存情况top//1s采集周期，获取内存的统计信息pidstat -p pid -r 1//查看进程的内存映像信息pmap -d pid//检测程序内存问题valgrind --tool=memcheck --leak-check=full --log-file=./log.txt  ./程序名

登入後複製

6. 磁盘IO

6.1 说明

磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 距离最远而且 CPU 访问磁盘要涉及到机械操作，比如转轴、寻轨等。访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像1天和1分钟的差别一样。要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。

在理解磁盘IO之前，同样我们需要理解一些概念，例如：

檔案系統
#VFS
檔案系統快取
頁快取page cache
緩衝區快取buffer cache
目錄快取
#inode
inode快取
noop呼叫策略

6.2 分析工具

Linux 維運故障排查思路，有這篇文章就夠了~

6.3 使用方式

//查看系统io信息iotop//统计io详细信息iostat -d -x -k 1 10//查看进程级io的信息pidstat -d 1 -p  pid//查看系统IO的请求，比如可以在发现系统IO异常时，可以使用该命令进行调查，就能指定到底是什么原因导致的IO异常perf record -e block:block_rq_issue -ag^Cperf report

登入後複製

7. 网络

7.1 说明

网络的监测是所有 Linux 子系统里面最复杂的，有太多的因素在里面，比如：延迟、阻塞、冲突、丢包等，更糟的是与 Linux 主机相连的路由器、交换机、无线信号都会影响到整体网络并且很难判断是因为 Linux 网络子系统的问题还是别的设备的问题，增加了监测和判断的复杂度。现在我们使用的所有网卡都称为自适应网卡，意思是说能根据网络上的不同网络设备导致的不同网络速度和工作模式进行自动调整。

7.2 分析工具

Linux 維運故障排查思路，有這篇文章就夠了~

7.3 使用方式

//显示网络统计信息netstat -s//显示当前UDP连接状况netstat -nu//显示UDP端口号的使用情况netstat -apu//统计机器中网络连接各个状态个数netstat -a | awk &#39;/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}&#39;//显示TCP连接ss -t -a//显示sockets摘要信息ss -s//显示所有udp socketsss -u -a//tcp,etcp状态sar -n TCP,ETCP 1//查看网络IOsar -n DEV 1//抓包以包为单位进行输出tcpdump -i eth1 host 192.168.1.1 and port 80 //抓包以流为单位显示数据内容tcpflow -cp host 192.168.1.1

登入後複製

8. 系统负载

8.1 说明

Load 就是对计算机干活多少的度量（WikiPedia：the system Load is a measure of the amount of work that a compute system is doing）简单的说是进程队列的长度。Load Average 就是一段时间（1分钟、5分钟、15分钟）内平均Load。

8.2 分析工具

Linux 維運故障排查思路，有這篇文章就夠了~

8.3 使用方式

//查看负载情况uptimetopvmstat//统计系统调用耗时情况strace -c -p pid//跟踪指定的系统操作例如epoll_waitstrace -T -e epoll_wait -p pid//查看内核日志信息dmesg

登入後複製

9. 火焰图

9.1 说明

火焰图（Flame Graph是 Bredan Gregg 创建的一种性能分析图表，因为它的样子近似 ?而得名。

火焰图主要是用来展示 CPU的调用栈。

y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。

x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。

火焰图就是看顶层的哪个函数占据的宽度最大。只要有”平顶”（plateaus），就表示该函数可能存在性能问题。颜色没有特殊含义，因为火焰图表示的是 CPU 的繁忙程度，所以一般选择暖色调。

常见的火焰图类型有 On-CPU、Off-CPU、Memory、Hot/Cold、Differential等等。

9.2 安装依赖库

//安装systemtap，默认系统已安装yum install systemtap systemtap-runtime//内核调试库必须跟内核版本对应，例如：uname -r 2.6.18-308.el5kernel-debuginfo-2.6.18-308.el5.x86_64.rpmkernel-devel-2.6.18-308.el5.x86_64.rpmkernel-debuginfo-common-2.6.18-308.el5.x86_64.rpm//安装内核调试库debuginfo-install --enablerepo=debuginfo search kerneldebuginfo-install --enablerepo=debuginfo  search glibc

登入後複製

9.3 安装

git clone https://github.com/lidaohang/quick_location.gitcd quick_location

登入後複製

9.4 CPU级别火焰图

cpu占用过高，或者使用率提不上来，你能快速定位到代码的哪块有问题吗？

一般的做法可能就是通过日志等方式去确定问题。现在我们有了火焰图，能够非常清晰的发现哪个函数占用cpu过高，或者过低导致的问题。另外，搜索公众号Linux就该这样学后台回复“猴子”，获取一份惊喜礼包。

9.4.1 on-CPU

cpu占用过高，执行中的时间通常又分为用户态时间user和系统态时间sys。

使用方式：

//on-CPU usersh ngx_on_cpu_u.sh pid//进入结果目录 cd ngx_on_cpu_u//on-CPU kernelsh ngx_on_cpu_k.sh pid//进入结果目录 cd ngx_on_cpu_k//开一个临时端口 8088 python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

登入後複製

DEMO：

登入後複製

#include <stdio.h>#include <stdlib.h>
void foo3(){  }
void foo2(){    int i;    for(i=0 ; i < 10; i++)           foo3();}
void foo1(){    int i;  for(i = 0; i< 1000; i++)      foo3();}
int main(void){    int i;    for( i =0; i< 1000000000; i++) {          foo1();          foo2();    }}

登入後複製

DEMO火焰图：

Linux 維運故障排查思路，有這篇文章就夠了~

9.4.2 off-CPU

cpu过低，利用率不高。等待下一轮CPU，或者等待I/O、锁、换页等等，其状态可以细分为可执行、匿名换页、睡眠、锁、空闲等状态。

使用方式：

// off-CPU usersh ngx_off_cpu_u.sh pid//进入结果目录cd ngx_off_cpu_u//off-CPU kernelsh ngx_off_cpu_k.sh pid//进入结果目录cd ngx_off_cpu_k//开一个临时端口8088python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

登入後複製

官网DEMO：

Linux 維運故障排查思路，有這篇文章就夠了~

9.5 内存级别火焰图

如果线上程序出现了内存泄漏，并且只在特定的场景才会出现。这个时候我们怎么办呢？有什么好的方式和工具能快速的发现代码的问题呢？同样内存级别火焰图帮你快速分析问题的根源。

使用方式：

sh ngx_on_memory.sh pid//进入结果目录cd ngx_on_memory//开一个临时端口8088python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

登入後複製

官网DEMO：

Linux 維運故障排查思路，有這篇文章就夠了~

9.6 性能回退-红蓝差分火焰图

你能快速定位CPU性能回退的问题么？如果你的工作环境非常复杂且变化快速，那么使用现有的工具是来定位这类问题是很具有挑战性的。当你花掉数周时间把根因找到时，代码已经又变更了好几轮，新的性能问题又冒了出来。主要可以用到每次构建中，每次上线做对比看，如果损失严重可以立马解决修复。

通过抓取了两张普通的火焰图，然后进行对比，并对差异部分进行标色：红色表示上升，蓝色表示下降。差分火焰图是以当前（“修改后”）的profile文件作为基准，形状和大小都保持不变。因此你通过色彩的差异就能够很直观的找到差异部分，且可以看出为什么会有这样的差异。

使用方式：

cd quick_location//抓取代码修改前的profile 1文件perf record -F 99 -p pid -g -- sleep 30perf script > out.stacks1//抓取代码修改后的profile 2文件perf record -F 99 -p pid -g -- sleep 30perf script > out.stacks2//生成差分火焰图:./FlameGraph/stackcollapse-perf.pl ../out.stacks1 > out.folded1./FlameGraph/stackcollapse-perf.pl ../out.stacks2 > out.folded2./FlameGraph/difffolded.pl out.folded1 out.folded2 | ./FlameGraph/flamegraph.pl > diff2.svg

登入後複製

DEMO：

//test.c#include <stdio.h>#include <stdlib.h>
void foo3(){  }
void foo2(){    int i;    for(i=0 ; i < 10; i++)      foo3();}
void foo1(){    int i;    for(i = 0; i< 1000; i++)       foo3();}
int main(void){    int i;  for( i =0; i< 1000000000; i++) {      foo1();      foo2();    }}
//test1.c#include <stdio.h>#include <stdlib.h>
void foo3(){
}
void foo2(){  int i;  for(i=0 ; i < 10; i++)         foo3();}
void foo1(){    int i;    for(i = 0; i< 1000; i++)         foo3();}
void add(){    int i;    for(i = 0; i< 10000; i++)       foo3();}
int main(void){    int i;    for( i =0; i< 1000000000; i++) {    foo1();    foo2();    add();  }}

登入後複製

DEMO红蓝差分火焰图：

Linux 維運故障排查思路，有這篇文章就夠了~

10. 案例分析

10.1 接入層nginx集群異常現象

透過監控插件發現在2017.09.25 19 點nginx集群請求流量出現大量的499，5xx狀態碼。並且發現機器cpu使用率升高，目前一直持續中。另外，搜尋公眾號頂級演算法後台回覆“演算法”，取得一份驚喜禮包。

10.2 分析nginx相關指標

a) **分析nginx請求流量：

Linux 維運故障排查思路，有這篇文章就夠了~

結論：

透過上圖發現流量並沒有突增，反而下降了，跟請求流量突增沒關係。

b) **分析nginx回應時間
Linux 維運故障排查思路，有這篇文章就夠了~

#結論：

透過上圖發現nginx的反應時間有增加可能跟nginx本身有關係或跟後端upstream回應時間有關係。

c) **分析nginx upstream回應時間

Linux 維運故障排查思路，有這篇文章就夠了~

##結論：

透過上圖發現nginx upstream 回應時間有增加，目前猜測可能後端upstream回應時間拖住nginx，導致nginx出現請求流量異常。

10.3 分析系統cpu狀況

a) **透過top觀察系統指標

# top

Linux 維運故障排查思路，有這篇文章就夠了~

#結論：

#發現nginx worker cpu比較高

b) **分析nginx行程內部cpu狀況

#perf top -p pid

###########

结论：

发现主要开销在free,malloc,json解析上面

10.4 火焰图分析cpu
a) **生成用户态cpu火焰图

//on-CPU usersh ngx_on_cpu_u.sh pid//进入结果目录cd ngx_on_cpu_u//开一个临时端口8088python -m SimpleHTTPServer 8088//打开浏览器输入地址127.0.0.1:8088/pid.svg

登入後複製

Linux 維運故障排查思路，有這篇文章就夠了~

结论：

发现代码里面有频繁的解析json操作，并且发现这个json库性能不高，占用cpu挺高。

10.5 案例总结

a) 分析请求流量异常，得出nginx upstream后端机器响应时间拉长

b) 分析nginx進程cpu高，得出nginx內部模組程式碼有耗時的json解析以及記憶體分配回收操作

10.5 .1 深入分析

根據上述兩點問題分析的結論，我們進一步深入分析。

後端upstream回應拉長，最多可能影響nginx的處理能力。但是不可能會影響nginx內部模組佔用過多的cpu操作。而當時佔用cpu高的模組，是在請求的時候才會走的邏輯。不太可能是upstram後端拖住nginx，從而觸發這個cpu的耗時操作。

10.5.2 解決方式

#遇到這種問題，我們優先解決已知的，並且非常明確的問題。那就是cpu高的問題。解決方式先降級關閉佔用cpu過高的模組，然後進行觀察。經過降級關閉該模組cpu降下來了，而且nginx請求流量也正常了。之所以會影響upstream時間拉長，因為upstream後端的服務呼叫的介面可能是個迴路再走回nginx。