Ubuntu 内核转储工具
在我的上一篇博文《Linux 内核的Oops》的最后介绍到一个Linux内核转储工具Kdump,这个工具可以在发生kernel panic时把现场dump到一个文件里,以供后续分析之用。本文主要介绍在Ubuntu下如何使用kdump。
Kdump是一个通用的Linux内核转储工具,详细的用法说明可以参考这篇Kdump Tutorial。 这篇教程洋洋洒洒几十页(链接里有pdf文件可以下载),详细介绍了内核配置的参数,以及实现内核崩溃转储的一系列工具的用法以及可能出现的问题,过程看 上去有点繁琐。是不是每台需要调试的机器都要这么设置呢?其实是没有必要的。Linux发行版已经帮我们做了很大一部分工作,我们需要做的只是安装几个 包,启动一下Kdump服务就可以了。很多发行版比如Ubuntu默认在内核里已经支持了Kdump,我们并不需要重新配置内核,kdump的一系列工具 也做成了service可以直接启用。接下来,我们就会看到在Ubuntu上使用kdump真的非常简单。但是,我还是建议大家在完成这个简单的流程后, 再回过头来仔细阅读上面提到的教程,毕竟,知道真正的细节才能有助于我们更好的理解这个系统。
Kdump简介
Kdump是一个Linux内核崩溃转储机制,这个机制的原理是在内存中保留一块区域,这块区域用来存放capture kernel,当前的内核发生crash后,通过kexec把保留区域的capture kernel运行起来,由capture kernel负责把crash kernel的完整信息--包括CPU寄存器、堆栈数据等--转储到文件中,文件的存放位置可以是本地磁盘,也可以是网络。
安装Ubuntu的crashdump工具包
在Ubuntu下实现Kdump只需要安装linux-crashdump这个包就可以了,可以在新立得下搜索linux-crashdump或者 用命令:
sudo apt-get install linux-crashdump
linux-crashdump实际上安装了三个工具,分别是:crash,kexec-tools,以及makedumpfile。
安装完毕以后,我们检查一下grub2的启动选项,会发现在引导内核的命令linux后面多了一个参数:
crashkernel=384M-2G:64M,2G-:128M
crashkernel用来指定保留内存的大小,语法定义如下:
crashkernel=<range1>:<size1>[,<range2>:<size2>,...][@offset]
range=start-[end]
其中,start包含在指定范围内,而end不包含在指定范围内。
参考这个语法定义,我们就可以知道linux-crashkernel帮我们设定的保留区域的大小是:如果内存小于384M,不保留内存;如果内存 大于等于384M但小于2G,保留64M;如果内存大于2G,保留128M。
在/etc/init.d中还会有一个kdump的service脚本,我们可以打开这个脚本看一看,内容很简单,主要是用kexec把/boot 下的linux内核镜像当作capture kernel放入保留内存里。
试用Kdump
在下面的实例中,所有的操作都需要root权限,所以请先用sudo su切换到root。
我们需要首先启动kdump service,命令如下:
service kdump start
下面是启动成功的画面:
写一个让内核崩溃的模块还是比较麻烦的,我们可以通过SysRq来实现这个目的。注意,在进行下面的操作前,请保存好自己的数据。
echo c > /proc/sysrq-trigger
或者按这个组合按键: Alt+SysRq+c
通过上面的操作,你的系统会立刻崩溃。不出意外的话,系统很快就会重启,然后在/var/crash这个目录下我们就可以找到转储的crash镜 像。
到这里,利用kdump进行Linux内核转储的实验就结束了,比起Kdump Tutorial里的步骤简单很多,这都是Ubuntu的功劳。
使用Crash分析转储文件
接下来我们要面对的是如何分析这个crash文件。这里还有一个教程,为了叙述方便,我把它叫做Crash Tutorial。Crash Tutorial主要介绍在Open SUSE和CentOS下如何利用crash工具来分析转储文件,这与Ubuntu还是有点差别的。在上述两个发行版里,kdump生成的crash镜像 文件是vmcore,这个文件可以用直接拿来用crash工具分析。Ubuntu提供了一个叫做Apport的工具,Apport用于收集崩溃时所有OS认为有 用的信息,并把它们打成一个包,就是上面看到的linux-image-2.6.32-25-generic.0.crash,我们需要的vmcore就 在这个包里。下面这个命令用于解包:
apport-unpack /var/crash/linux-image-2.6.32-25-generic.0.crash ~/tmp
我们把crash压缩包解到~/tmp中:
得到vmcore之后,我们还不能立刻进行分析,crash工具需要内核调试信息dbgsym才可以工作。我们可以先看看/usr/lib下有没有 debug目录,如果没有,则需要下载安装,下载的地址在这里。注意,下载前先用uname -r命令确定当前内核的确切版本号,dbgsym的版本一定要和内核版本完全匹配才可以。
安装好dbgsym之后,我们就可以使用crash来分析vmcore了,命令如下:
crash /usr/lib/debug/boot/vmlinux-2.6.32-25-generic ~/tmp/VmCore
在crash里,我们可以用bt查看内核崩溃时的call trace:
详细的crash用法大家可以参考Crash Tutorial, 或者用Google搜索一下相关资料。
注:
1. 本文采用的操作系统环境是 Kubuntu 10.04,在Ubuntu 10.04下实验应该同样是没有问题的。
2. 我有用过Ubuntu 10.10来实验kdump,但是很不幸,capture kernel没有跑起来,如果大家有在Ubuntu 10.10下的成功经验,麻烦告诉我。