《Linux内核设计与实现》第十八章读书笔记
第十八章 调试
18.1 准备开始
1.准备工作需要的是:
1 2 3 | 一个bug 一个藏匿bug的内核版本 相关内核代码的知识和运气 |
2.执行foo就会让程序立即产生核心信息转储(dump core)。
18.2 内核中的bug
往往是经由连锁反应触发的。
1.内核bug的原因可能有
1 2 3 4 | 错误代码(如没有把正确的值存放在恰当的位置) 同步时发生的错误(如共享变量锁定不当) 错误的管理硬件(如错误的控制寄存器发送错误的指令) …… |
2.内核bug发作的症状可能有
1 2 3 4 | 降低所有程序的运行性能 毁坏数据 使得系统处于死锁状态 …… |
3.内核开发比起用户开发要多考虑一些独特的问题
1 2 | 定时限制 竞争条件 |
18.3 通过打印来调试
内核提供的打印函数printk(),与C库提供的printf()类似。但是也有一些自身特殊的功能。
18.3.1 健壮性(随时随地可被调用)
1 2 3 | 在中断上下文和进程上下文中被调用 在任何持有锁时被调用 在多处理器上同时被调用,并且不必使用锁。 |
1.在系统启动过程中,终端还没有初始化之前,在某些地方不能使用它。
2.setup_arch():负责执行硬件体系结构相关的初始化动作。
3.核心硬件部分的黑客依靠某时刻能工作的硬件设备(如串口)与外界通信。解决的办法就是提供一个printk()的变体函数——early_printk(),这个函数在启动过程的初期就具有在终端上打印的能力。它的功能与printk()完全相同,区别仅仅在于名字和能够更早地工作。除非在启动初期就要在终端上输出,否则可以认为printk()在什么情况下都能工作。
18.3.2 日志等级
printk()和printf()在使用上最主要的区别就是前者可以指定一个日志级别,内核根据这个级别来判断是否在终端上打印消息。内核把级别比某个特定值低的所有消息显示在终端上。
如果没有特别特别指定,函数会选用默认的DEFAULT_MESSAGE_LOGLEVEL,在当前来看是KERN_WARNING,即一个警告。最好还是给自己的消息指定一个记录等级。内核会把这些记录等级转化为"",n指等级,从0-7,对应表中从上到下,数字越小越重要,也就是说:
1 2 3 | 0 KERN_EMERG 最重要 …… 7 KERN_DEBUG 最不重要 |
对于调试信息, 有两种赋予记录等级的方法:
1 2 | 保持终端的默认记录等级不变,给所有调试信息KERN_CRIT或更低的等级。 给所有调试信息KERN_DEBUG等级,调整终端的默认记录等级。 |
18.3.3 记录缓冲区
1.内核消息是保存在一个环形队列中,这个环形队列就是它的记录缓冲区。
2.大小是可以在编译时进行调整的,但是在单处理器的系统上默认值是16kb。也就是说内核在同一时间只能保存16kb的内核消息,再多的话新消息就会覆盖老消息,读写都是按照环形队列方式操作的。
3.优点:
1 2 | 健壮性:在中断上下文中也可以方便的使用。 简单性:使记录维护起来更容易。 |
4.缺点:可能会丢失消息。
18.3.4 syslogd和klogd(这是两个用户空间的守护进程,klogd从记录缓冲区中获取内核消息,再通过syslogd守护进程将他们保存在系统日志文件中。)
(1)klogd
1 2 3 4 | 既可以从/proc/kmsg文件中,也可以通过syslog()系统调用读取这些消息。 默认是/proc方式。 两种情况klogd都会阻塞,知道有新的内核消息可供读出,唤醒之后默认处理是将消息传给syslogd。 可以通过-c标志来改变终端的记录等级 |
(2)syslogd
1 | 将它接收到的所有消息添加到一个文件中,默认是/ var /log/messages。 |
18.4 oops
1.oops是内核告知用户有不幸发生的最常用的方式。内核很难自我修复,也不能将自己杀死,只能发布oops,过程包括:
1 2 3 | 向终端上输出错误消息 输出寄存器中保存的信息 输出可供跟踪的回溯线索 |
2.通常发送完oops之后,内核会处于一种不稳定状态。
3.oops发生的时机:
1 2 3 | 发生在中断上下文:内核无法继续,会陷入混乱,导致系统死机 发生在idle进程或init进程(0号进程和1号进程),同上 发生在其他进程运行时,内核会杀死该进程并尝试着继续执行 |
4.oops发生的可能原因:内存访问越界、非法的指令等
5.oops中包含的重要信息:寄存器上下文和回溯线索
1 2 | 回溯线索:显示了导致错误发生的函数调用链。 寄存器上下文信息也很有用,比如帮助冲进引发问题的现场 |
18.4.1 ksymoops
1.调用ksymoops命令使回溯线索中的地址转化成有意义的符号名称,提供编译内核时产生的System.map。如果用的是模块,还需要一些模块信息。
1 | kysmoop saved_oops.txt |
18.4.2 kallsyms
现在的版本中不需要使用sysmoops这个工具,而在新版本中引入了kallsyms特性。
通过定义CONFIG_KALLSYMS配置选项启用。
18.5 内核调试配置选项
1.位于内核配置编辑器的内核开发菜单项中,都依赖于CONFIG_DEBUG_KERNEL。
1 2 3 4 5 6 | slab layer debugging slab层调试选项 high-memory debugging 高端内存调试选项 I/O mapping debugging I/O映射调试选项 spin- lock debugging 自旋锁调试选项 stack-overflow debugging 栈溢出检查选项 sleep-inside-spinlock checking 自旋锁内睡眠选项 |
注意:原子操作:指那些能够不分隔执行的东西;在执行时不能中断否则就是完不成的代码。正在使用一个自旋锁或禁止抢占的代码。使用锁时睡眠是引发死锁的元凶。
18.6 引发bug并打印信息
1.BUG()和BUG_ON():被调用时会引发oops,导致栈的回溯和错误信息的打印。可以把这些调用当做断言使用,想要断言某种情况不该发生:
1 2 | if (bad_thing) BUG(); |
或者:
1 | BUG_ON(bad_thing); |
2.BUILD_BUG_ON():与BUG_ON()作用相同,仅在编译时调用。
3.panic():可以引发更严重的错误,不但会打印错误信息,还会挂起整个系统。
4.dump_stack():只在终端上打印寄存器上下文和函数的跟踪线索。
18.7 神奇的系统请求键
这个功能可以通过定义CONFIG_MAGIC_SYSRQ配置选项来启用。SysRq(系统请求)键在大多数键盘上都是标准键。该功能被启用时,无论内核出于什么状态,都可以通过特殊的组合键和内核进行通信。除了配置选项以外,还要通过一个sysctl用来标记该特性的开或关,启动命令如下:
1 | echo 1 > /proc/sys/kernel/sysrq |
相关命令如下:
注意:在一行内发送这三个键的组合可以重新启动濒临死亡的系统。
1 2 3 | SysRq-s:将“脏”缓冲区跟硬盘交换分区同步 SysRq-u:卸载所有的文件系统 SysRq-b:重启设备 |
内核代码中的Documentation/sysrq.txt有更详细说明,实际的实现在drivers/char/sysrq.c中。
18.8 内核调试器的传奇
18.8.1 gdb
1.使用标准的GNU调试器对正在运行的内核进行查看。针对内核启动调试器的方法与针对进程的方法大致相同:
1 | gdb vmlinux /proc/kcore |
2.使用gdb的所有命令来获取信息。
例如:打印一个变量的值:
1 | p global_variable |
反汇编一个函数:
1 | disassemble function |
使用-g参数还可以提供更多的信息。
3.局限性:
1 2 | 没有办法修改内核数据 不能单步执行内核代码 |
18.8.2 kgdb
1.用于在远程主机上通过串口利用gdb的所有功能对内核进行调试。
2.需要两台计算机。一台运行带有kgdb补丁的内核,另一台通过串行线使用gdb对第一台进行调试。
3.通过kgdb,gdb的所有功能都能使用:
1 2 3 4 | 读取和修改变量值 设置断点 设置关注变量 单步执行 |
18.9 探测系统
18.9.1 使用uid作为选择条件
1.一般情况下,加入特性时,只要保留原有的算法而把新算法加入到其他位置上,基本就能保证安全。
2.可以把用户id(UID)作为选择条件来实现这种功能:
通过某种选择条件,安排到底执行哪种算法。
18.9.2 使用条件变量
1.如果代码与进程无关,或者希望有一个针对所有情况都能使用的机制来控制某个特性,可以使用条件变量。
2.这种方式比使用UID更简单,只需要创建一个全局变量作为一个条件选择开关:如果该变量为0,就使用某一个分支上的代码;否则,选择另外一个分支。
3.操控方式:某种接口,或者调试器。
18.9.3 使用统计量
1.用于使用者需要掌握某个特定事件的发生规律的时候。方法是创建统计量,并提供某种机制访问其统计结果。
2.操作:定义全局变量-->
在/proc目录中创建一个文件/新建一个系统调用/通过调试器直接访问(最直接)。
3.不是SMP安全的,更好的方式是用原子操作。
18.9.4 重复频率限制
当系统的调试信息过多的时候,可以用重复频率限制、发生次数限制防止这类问题发生。
①重复频率限制:限制调试信息,最多几秒打印一次,可以根据自己的需要调节频率。
- 例如printk()函数的调节频率,可以用printk_ratelimit()函数限制。
②发生次数限制:调试信息至多输出几次,超过次数限制后就不能再输出。
- 这种方法可以用来确认在特定情况下某段代码的确被执行了。
注:不是SMP安全,不是抢占安全,更好的方式是用原子操作。
1 | SMP(Symmetric Multi-Processing),对称多处理结构的简称,是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统以及总线结构。在这种技术的支持下,一个服务器系统可以同时运行多个处理器,并共享内存和其他的主机资源。 |
18.10 用二分查找找出印发罪恶的变更
运用二分查找将问题局限在两个相继发行的版本之间,一个包含错误而另一个不包含,这样就能够对引发bug的代码变更进行定位。
这样的方法较为高效。
18.11 使用Git进行二分搜索
1.Git源码管理工具提供了一个有用的二分搜索机制。若使用Git来控制Linux源码树的副本,Git将自动运行二分搜索进程。
2.操作命令如下:
1 2 3 4 | git bisect start # 告知git要进行二分搜索 git bisect bad <revision> # 已知出现问题的最早内核版本 git bisect bad # 当前版本就是引发bug的最初版本的情况下使用这条命令 git bisect good <revision> # 最新的可正常运行的内核版本 |
3.git就会利用二分搜索法在Linux源码树中,自动检测正常的版本内核和有bug的内核版本之间那个版本有隐患,然后再编译、运行以及测试正被检测的版本。
①若版本正常,则:
1 | git bisect good |
②若版本异常,则:
1 | git bisect bad |
4.对于每一个命令,GIT将在每一个版本的基础上反复二分搜索源码树,并且返回所查的下一个内核版本,一直到不能再进行二分搜索位置,最终git会打印出有问题的版本号。
18.12 当所有的努力都失败时:社区
如果bug是内核的主流部分中出现的,可以在内核开发社区中寻求其他开发者的帮助。
总结
内核的调试过程是一种寻求实现与目标偏差的行为。提到了几种技术:
- 内核内置的调试架构
- 调试程序
- 记录日志
- git二分法查找
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步