MySQL异常退出往往会会在error.log中打印backtrace信息，我们从这个backtrace中可以得到一些异常的原因，例如断言错误，空指针内容的访问等。顺着这些信息排查，我们一般再结合代码逻辑来做推断，写测试用例重现，再打补丁，再验证等过程。 但是，线上早期部
MySQL异常退出往往会会在error.log中打印backtrace信息，我们从这个backtrace中可以得到一些异常的原因，例如断言错误，空指针内容的访问等。顺着这些信息排查，我们一般再结合代码逻辑来做推断，写测试用例重现，再打补丁，再验证等过程。
但是，线上早期部署的MySQL编译参数不太规范，导致一些MySQL crash的backtrace看起来不是那么透明，非常难懂，甚至一点意义也没有。这给我们排查问题带来非常大的不便。当然，这个问题已经解决，我们采用google-breakpad来获取MySQL crash时的mini-dump，但这是后话，在此不展开。
那么，这种backtrace就真的没有什么信息可以挖掘吗？不一定。下面我们就以这周发线上的一个故障来分析。
线上一台5.5版本的备库跑了3月之久突然就crash，crash的backtrace为：
/u01/mysql/bin/mysqld(my_print_stacktrace+0x39)[0x7b1b69]
/u01/mysql/bin/mysqld(handle_segfault+0x43c)[0x4fa39c]
/lib64/libpthread.so.0[0x344dc0f520]
/u01/mysql/bin/mysqld[0x7fb4c1]
/lib64/libpthread.so.0[0x344dc077e1]
/lib64/libc.so.6(clone+0x6d)[0x344d8e68ed
这个backtrace就是典型早期编译部署的MySQL,backtrace信息很难看懂。但是，凭经验和一些常识，这一个调用关系非常简单的线程，因为backtrace中创建的pthread只调用了一次mysqld的函数。那么，我猜测这个线程可能是一个后台线程。mysqld层显示的地址0x7fb4c1到底是哪行代码，对我们分析问题非常关键。
猜测后就该验证了，GDB出马！用GDB在出问题的那台机器上来玩转下反汇编。
注意：
1. 不要在业务高峰期执行GDB相关操作！
2. 一定要对所执行的GDB动作非常熟悉！
3. 最好通知对应的DBA！
那末，搞起！在线disass下地址0x7fb4c1先看看是哪个函数：
gdb -p 31639 -ex "disassemble?0x7fb4c1?" --ex "quit" --batch > /tmp/g1.log
Dump of assembler code from 0x7fb4c1 to 0x7fb4f1:
0x00000000007fb4c1 : cmp %esi,(%rax)
0x00000000007fb4c3 : jne 0x7fb4b0
0x00000000007fb4c5 : mov 0xc(%r8),%edi
0x00000000007fb4c9 : cmp 0x4(%rax),%edi
0x00000000007fb4cc : jne 0x7fb4b0
0x00000000007fb4ce : mov 0x60(%rax),%rdi
0x00000000007fb4d2 : cmp %rdi,0x10(%r11)
0x00000000007fb4d6 : jne 0x7fb4b0
0x00000000007fb4d8 : nopl 0x0(%rax,%rax,1)
0x00000000007fb4e0 : sub %r13,%rdx
0x00000000007fb4e3 : add (%r11),%rdx
0x00000000007fb4e6 : mov $0x0,%eax
0x00000000007fb4eb : mov %r13,(%r11)
0x00000000007fb4ee : mov (%r12),%esi
End of assembler dump.
有两点我们可以确认：
1. 这是个srv_master_thread线程.
2. 在读取异常指针作比较时，导致segfault.
那这段汇编代码上下文是什么很难看出到底是哪行代码出问题，这时我们可以把srv_master_thread函数disass下：
gdb -p 31639 -ex "disassemble srv_master_thread" --ex "quit" --batch > /tmp/g2.log
0x00000000007fb478 : mov 0x3a8(%r10),%r12
0x00000000007fb46d : mov %r12,-0x740(%rbp)
0x00000000007fb474 : nopl 0x0(%rax)
0x00000000007fb486 : test %r12,%r12
0x00000000007fb489 : je 0x7fb908
0x00000000007fb48f : lea (%r9,%r9,2),%rdi
0x00000000007fb493 : mov %r12,%rax
0x00000000007fb496 : xor %edx,%edx
0x00000000007fb498 : shl $0x3,%rdi
0x00000000007fb49c : mov -0x6c8(%rbp,%rdi,1),%esi
0x00000000007fb4b4 : test %rax,%rax
0x00000000007fb4b7 : je 0x7fb900
0x00000000007fb4c1 : cmp %esi,(%rax)
0x00000000007fb4c3 : jne 0x7fb4b0
0x00000000007fb4c5 : mov 0xc(%r8),%edi
0x00000000007fb4c9 : cmp 0x4(%rax),%edi
0x00000000007fb4cc : jne 0x7fb4b0
0x00000000007fb4ce : mov 0x60(%rax),%rdi
0x00000000007fb4d2 : cmp %rdi,0x10(%r11)
0x00000000007fb4d6 : jne 0x7fb4b0
0x00000000007fb4d8 : nopl 0x0(%rax,%rax,1)
如果你汇编能力非常强，但是可以慢慢读起。但是，这往往非常累，因为这个函数太长了，并且由于编译优化，汇编代码不是和逻辑代码行级别的顺序完全对应。
对于我们这样的懒人，一般不太愿意，触发是实在没有办法。
那么，还有没有其它办法？有
答案是有的，用 disass /m 可以将汇编和代码对应起来！
gdb -p 31639 -ex "disassemble /m srv_master_thread" --ex "quit" --batch > /tmp/g3.log
3447 in /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18/storage/innobase/srv/srv0srv.c
0x00000000007fb478 : mov 0x3a8(%r10),%r12
3448 in /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18/storage/innobase/srv/srv0srv.c
3449 in /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18/storage/innobase/srv/srv0srv.c
3450 in /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18/storage/innobase/srv/srv0srv.c
3451 in /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18/storage/innobase/srv/srv0srv.c
0x00000000007fb46d : mov %r12,-0x740(%rbp)
0x00000000007fb474 : nopl 0x0(%rax)
0x00000000007fb486 : test %r12,%r12
0x00000000007fb489 : je 0x7fb908
0x00000000007fb48f : lea (%r9,%r9,2),%rdi
0x00000000007fb493 : mov %r12,%rax
0x00000000007fb496 : xor %edx,%edx
0x00000000007fb498 : shl $0x3,%rdi
0x00000000007fb49c : mov -0x6c8(%rbp,%rdi,1),%esi
0x00000000007fb4b4 : test %rax,%rax
0x00000000007fb4b7 : je 0x7fb900
3452 in /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18/storage/innobase/srv/srv0srv.c
0x00000000007fb4c1 : cmp %esi,(%rax)
0x00000000007fb4c3 : jne 0x7fb4b0
0x00000000007fb4c5 : mov 0xc(%r8),%edi
0x00000000007fb4c9 : cmp 0x4(%rax),%edi
0x00000000007fb4cc : jne 0x7fb4b0
0x00000000007fb4ce : mov 0x60(%rax),%rdi
0x00000000007fb4d2 : cmp %rdi,0x10(%r11)
0x00000000007fb4d6 : jne 0x7fb4b0
0x00000000007fb4d8 : nopl 0x0(%rax,%rax,1)
是不是看起来有点感觉了？终于有对应的代码了！
但是，高兴太早了，只是显示了代码文件名，没有说明是那行代码！
这个问题的原因是mysqld是在显示的那个目录下编译的，如何rpm打包，分发到线上机器部署。而安装的时候，我们是不安装对应的编译的代码文件。
那么，接下来怎么办？
好办，将对应的源文件拷贝一份到任何一个目录下，利用GDB的substitute-path来将编译时的路径和我们拷贝的代码路径对应起来就行了。
拷贝一份对应版本的源码到/tmp下，再次disass下：
注：0x00000000007fb46d 这个地址是我随便选择的，在srv_master_thread函数中某个有些地址，在0x7fb4c1之前，没有太多实际意义。
gdb -p 31639 -ex "set substitute-path? /home/jiyuan/rpmbuild/BUILD/tb-mysql-5.5.18 /tmp/alimysql-5.5.18"?-ex "disassemble /m??0x00000000007fb46d??" --ex "quit" --batch > /tmp/g4.log
3446 for (j = 0; j < srv_buf_pool_instances; j++) {
0x00000000007fb47f : mov 0x3a0(%r10),%r13
3447 lint blocks_num, new_blocks_num, flushed_blocks_num;
0x00000000007fb478 : mov 0x3a8(%r10),%r12
3448 ibool found;
3449
3450 buf_pool = buf_pool_from_array(j);
3451
0x00000000007fb46d : mov %r12,-0x740(%rbp)
0x00000000007fb474 : nopl 0x0(%rax)
0x00000000007fb486 : test %r12,%r12
0x00000000007fb489 : je 0x7fb908
0x00000000007fb48f : lea (%r9,%r9,2),%rdi
0x00000000007fb493 : mov %r12,%rax
0x00000000007fb496 : xor %edx,%edx
0x00000000007fb498 : shl $0x3,%rdi
0x00000000007fb49c : mov -0x6c8(%rbp,%rdi,1),%esi
0x00000000007fb4b4 : test %rax,%rax
0x00000000007fb4b7 : je 0x7fb900
3452 blocks_num = UT_LIST_GET_LEN(buf_pool->flush_list);
0x00000000007fb4c1 : cmp %esi,(%rax)
0x00000000007fb4c3 : jne 0x7fb4b0
0x00000000007fb4c5 : mov 0xc(%r8),%edi
0x00000000007fb4c9 : cmp 0x4(%rax),%edi
0x00000000007fb4cc : jne 0x7fb4b0
0x00000000007fb4ce : mov 0x60(%rax),%rdi
0x00000000007fb4d2 : cmp %rdi,0x10(%r11)
0x00000000007fb4d6 : jne 0x7fb4b0
0x00000000007fb4d8 : nopl 0x0(%rax,%rax,1)
3453 bpage = UT_LIST_GET_FIRST(buf_pool->flush_list);
3454 new_blocks_num = 0;
0x00000000007fb4a3 : lea -0x6d0(%rbp,%rdi,1),%r8
0x00000000007fb4ab : jmp 0x7fb4c1
0x00000000007fb4ad : nopl (%rax)
3455
3456 found = FALSE;
3457 while (bpage != NULL) {
3458 if (prev_flush_info[j].space == bpage->space
3459 && prev_flush_info[j].offset == bpage->offset
0x00000000007fb4b0 : mov 0x40(%rax),%rax
3460 && prev_flush_info[j].oldest_modification
0x00000000007fb4bd : add $0x1,%rdx
终于看到熟悉的代码了！
可以定位到问题本质，第3452行异常导致，即buf_pool->flush_list.count访问为非法内存地址。
这段代码是srv_master_thread频繁访问的内存变量，出现这种问题，我只能说是其它地方有异常导致此处内存被污染。至于原因，没有啥思路，等下会遇到再分析。
到此，我们就能力范围内对mysql的backtrace进行了深度挖掘，揭开backtrace中地址的神秘面纱。但这个问题还是没有解决，backtrace中还有其它可以挖掘的信息，后面有高人指定也许会豁然开朗。
原文地址：如何分析crash的backtrace, 感谢原作者分享。
如何分析crash的backtrace
至于原因,没有啥思路,等下会遇到再分析。到此,我们就能力范围内对mysql的backtrace进行了深度挖掘,揭开backtrace中地址的神秘面纱。但这个问题还是没有解决,backtrace中还有其它可以挖掘的信息,后面有高人指定也许会豁然开朗。 原文地址:如何分析crash的backtrace, 感谢原作者分享。 抢首赞 已赞过 已踩过< 你对这个...
如何看懂iOS的Crash报告
2. 异常代码(Exception Codes)异常代码可能包含异常类型(Exception Type)、异常子类型(Exception Subtype)、处理器的详细异常代码(processor-specific Exception Codes)和其它能提供更多Crash信息的字段，最后一个字段列出了触发Crash的线程索引。下面是异常代码的示例。复制代码 Exception Type: EXC_CRASH (SIGAB...
如何记录并分析CRASH日志方法二
用ITUNES同步后这个文件会自动复制到电脑里(未验证过,我现在设备是越狱的,都是直接看设备里的文件)MAC~\/Libary\/Logs\/CrashRepoter\/MobileDevicewindows 7c:\\Users\\<user name\\Appdata\\roaming\\apple computer\\logs\\crashreporter\\mobiledevice\\ 这个plist文件用记事本打开,是无法看明白的.需要配套的.dsym...
怎样分析crash dump
Memory错误 在内核中，内存是以cache的形式组织的，每个对象类型对应一个cache，如（inod_cache,dentry_cache, buffer_head,vm_area_strutct等）；每个cache包含多个slab(slab由一个或多个页组成，这些页物理上是连续的)；每个slab包含多个初始化的对象。 Cache可以分为两类【kmalloc使用的和其他】，...
如何分析Android的Log
这个log就不那么容易懂了，但是还是能从中看出很多信息，让我们一起来学习如何分析这种log。首先看下面这行：pid: 2102, tid: 2102,name: testapp >>>.\/testapp <<< 从这一行我们可以知道crash进程的pid和tid，前文我们已经提到过，Android调用gettid函数得到的实际是进程Id号，所以这里的pid和tid...
借助友盟+U-APM分析程序运行崩溃
将生成的coredump文件导出至PC进行细致分析。GDB工具提供定位崩溃原因的基本命令，如`backtrace`、`info proc all`与`info register`。此步骤以最近排查的FCT程序为例进行说明，从转储文件分析崩溃原因。面对strip过的程序，`backtrace`等命令能揭示崩溃代码位置。`info proc all`显示程序运行时的内存映射。
stackwalk和crash log的区别
如果是存在设备上的，可以用Organizer导出3.打开.crash文件，参考Hardware Model确定故障设备是armv6还是armv7架构。4.利用.dSYM定位调用栈记录中未确定的offset。比如有如下记录:Last Exception Backtrace:0 CoreFoundation 0x3440a8bf __exceptionPreprocess1 libobjc.A.dylib 0x3465a1e5 objc_exception_...
gf_crash是什么手机文件?
程序异常崩溃时产生的，用来调试跟踪，可以删掉，你可以试试，我个人觉得就是这个意思
如何定位Android NDK开发中遇到的错误
首先要找到backtrace信息，有的手机会明确打印一行backtrace（比如我们这次使用的手机），那么这一行下面的一系列以“#两位数字 pc”开头的行就是backtrace信息了。有时可能有的手机并不会打印一行backtrace，那么只要找到一段以“#两位数字 pc ”开头的行，就可以了。其次要找到属于自己的so文件报错的行，...
写小程序,什么语言跨平台兼容和性能较好?golang
6、再谈谈报错机制, 因为Erlang的的报错信息太让人纠结了, 起初以为我不会看出错信息, 后来也使用了Sasl, 还是不够直观,甚至有时要用工具分析crash文件来定位问题,还是跟Erlang的哲学有关, 在Erlang中一切都是并行的, 所以它根本不care是物理哪一行出错, 只跟Actor绑定, 然后告诉你Actor的ID和出错代号, 你自己...
