一文搞懂Linux火焰图性能分析

Answer 1

在处理程序性能问题时，就像生病时需要对症下药，而非盲目尝试各种方法。性能优化专家Brendan D. Gregg发明的火焰图就起到了关键作用。火焰图是一种直观的工具，通过图形化展示CPU的调用栈，帮助我们定位性能瓶颈。

常见的火焰图类型包括On-CPU、Off-CPU、Memory、Hot/Cold和Differential等，它们呈现为一团跳跃的火焰，颜色随机，宽度表示执行时间，高度表示调用深度。识别关键瓶颈时，应重点关注那些宽大的火焰，特别是类似平顶山形状的部分。

在Linux系统中，perf是常用的性能分析工具，通常集成在内核中。perf record命令用于采集数据，通过压测工具施压，确保收集足够样本。Nginx和社区中，春哥的nginx-systemtap-toolkit是一个实用的工具包，适用于多种C/C++程序。

On-CPU和Off-CPU火焰图的使用取决于瓶颈的类型：CPU问题用On-CPU，IO或锁问题用Off-CPU。如果不确定，可通过压测来判断。通过比较两张火焰图，可以了解CPU是否被其他进程抢占。

perf脚本和stackcollapse工具帮助我们处理和生成火焰图，生成SVG图像后，可以使用浏览器进行交互分析。火焰图中，颜色无特定含义，但暖色调通常代表繁忙程度。互动性体现在鼠标悬浮展示详细信息、点击放大查看细节和搜索功能上。

火焰图有局限性，如调用栈不完整或函数名缺失时无法生成。此外，Chrome浏览器也支持页面脚本的火焰图分析。然而，为了解决性能回退问题，红/蓝差分火焰图（如CPI火焰图）应运而生，通过对比前后或不同时期的火焰图，揭示性能变化的原因。

红/蓝差分火焰图以两个profile文件为基础，颜色区分增减，如ZFS压缩功能开启导致CPU使用率上升的案例所示。在CPI火焰图分析中，可以关注CPU工作周期与停顿周期的差异。还有其他差异显示方法，如Robert Mustacchi的代码路径变化和Cor-Paul Bezemer的三图合一方法，它们各有优缺点，结合使用可以提供更全面的分析视角。