如何通过编译Linux内核打开IPVS(LVS)的debug模式
前言
为了定位keepalived VIP的问题, 一步一步定位到IPVS, IPVS默认是没有打开Debug模式的, 若需要打开Debug模式需要重新编译IPVS模块加载后才行, 最好的方式当然是仅仅编译IPVS模块就行, 但是实践过程中发现单独编译IPVS模块存在诸多问题, 暂且先放一放, 后续再整理整理单独编译IPVS模块的文章.
编译
- 查看编译机器Linux内核版本
先查看本地主机内核版本, 这一步主要是为了防止应用切换内核版本后不兼容, 故编译的内核尽量确保跟原本内核版本一致
[root@10-10-88-195 ~]# uname -a
Linux 10-10-88-195 3.10.0-693.el7.x86_64 #1 SMP Thu Jul 6 19:56:57 EDT 2017 x86_64 x86_64 x86_64 GNU/Linux
[root@10-10-88-195 ~]#
[root@10-10-88-195 ~]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 7.4 (Maipo)
下载解压
- 下载Linux源码
注: 从redhat上面下载需要注册账号
最官方的方式当然是从kernel.org上面去下载, 但是找了一圈发现kernel.org上面没有3.10.0版本的内核, 好在redhat上面有找到版本一致的内核
* 进入[redhat](https://access.redhat.com/downloads/content/rhel---7/x86_64/2456/kernel/3.10.0-693.el7/x86_64/fd431d51/package) 选择693版本
* 下载Source Package
* 将rpm包下载到`~/root/`目录下
[root@10-10-88-195 ~]# ls -lh
total 89M
-rw-------. 1 root root 1.6K Jun 13 11:48 anaconda-ks.cfg
-rw-r--r-- 1 root root 89M Jul 13 2017 kernel-3.10.0-693.el7.src.rpm
[root@10-10-88-195 ~]#
通过 rpm -ivh 安装, 可能会有warning, 可忽略
[root@10-10-88-195 kernels]# rpm -ivh kernel-3.10.0-693.el7.src.rpm
warning: kernel-3.10.0-693.el7.src.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Updating / installing...
1:kernel-3.10.0-693.el7 ################################# [100%]
安装完成之后默认会在~/root目录下生成一个rpmbuild文件夹
[root@10-10-88-195 ~]# ls -lh
total 89M
-rw-------. 1 root root 1.6K Jun 13 11:48 anaconda-ks.cfg
-rw-r--r-- 1 root root 89M Jul 13 2017 kernel-3.10.0-693.el7.src.rpm
drwxr-xr-x 4 root root 34 Sep 26 17:37 rpmbuild
[root@10-10-88-195 ~]#
进入到/root/rpmbuild/SOURCES目录可以看到linux-3.10.0-693.el7.tar.xz, 解压到当前目录下
[root@10-10-88-195 SOURCES]# tar -xvf linux-3.10.0-693.el7.tar.xz
依赖安装
- 编译工具安装
[root@10-10-40-97 linux-3.10.0-693.el7]# yum groupinstall -y "Development Tools"
- bc
千万千万不要漏掉了bc这个小工具, 就因为漏掉了bc, make的时候没有报错, 但是就是编译不出来vmlinux
[root@10-10-40-98 linux-3.10.0-693.el7]# yum install -y bc
- 安装内核需要
[root@10-10-88-195 linux-3.10.0-693.el7]# yum install -y elfutils-libelf-devel
- 图形展示依赖
[root@10-10-88-195 linux-3.10.0-693.el7]# yum install ncurses-devel -y
编译配置
进入到解压后的目录
/root/rpmbuild/SOURCES/linux-3.10.0-693.el7
- 开始内核模块配置
[root@10-10-88-195 linux-3.10.0-693.el7]# make menuconfig
- 成功后可以看到如下界面
- 进入 Networking support > Networking options > Network packet filtering framework (Netfilter) > IP virtual server support
选中IP virtual server debugging, 按y勾选打开IPVS的Debug支持
- 选中save
- 对于内核编译的配置到这一步就够了, 但是为了方便校验或者区别自己编译的内核, 最好给自己的编译的内核打上一个本地的版本号
进入 General setup ->
选中 Local version - append to kernel release, 按enter进入
比如添加一个icebug的本地版本号
保存退出即可
编译
接下来就是编译内核了, 为了编译能够快一些, 可以选择多开几个线程进行编译
- 查看CPU核数
[root@10-10-88-195 linux-3.10.0-693.el7]# grep -c processor /proc/cpuinfo
8
[root@10-10-88-195 linux-3.10.0-693.el7]#
- 选择CPU核数的2倍线程数进行编译
[root@10-10-88-195 linux-3.10.0-693.el7]# make -j16
可以看到系统负载已经占满了
接下来就是等待....
- 安装编译好的内核模块
[root@10-10-88-195 linux-3.10.0-693.el7]# make modules_install
- 安装内核
[root@10-10-88-195 linux-3.10.0-693.el7]# make install
sh ./arch/x86/boot/install.sh 3.10.0-icebug arch/x86/boot/bzImage \
System.map "/boot"
[root@10-10-88-195 linux-3.10.0-693.el7]#
一般到这一步内核的编译安装就可以结束来, 通过VNC选择要启动的内核即可
由于测试机器是跑在一台物理机上的虚拟机, 这里通过virsh vncdisplay查看虚拟机的VNC连接, 前提是已经安装VNC server
continue
登陆并reboot
按ESC进入到启动菜单选择
选择自己编译的内核
进入通过运行uname -a发现已经是新内核了
设置IPVS debug level, 先确保ip_vs模块已经被加载了, 没加载的话是没有/proc/sys/net/ipv4/vs这个目录的
加载ip_vs模块, 可以直接通过modprobe, 也可以直接通过运行ipvsadm加载, 通过lsmod可以发现ip_vs模块已经被加载了
[root@10-10-88-195 linux-3.10.0-693.el7]# modprobe ip_vs
[root@10-10-88-195 linux-3.10.0-693.el7]# lsmod | grep ip_vs
ip_vs 181385 0
nf_conntrack 133387 6 ip_vs,nf_nat,nf_nat_ipv4,xt_conntrack,nf_nat_masquerade_ipv4,nf_conntrack_ipv4
libcrc32c 12644 4 xfs,ip_vs,nf_nat,nf_conntrack
[root@10-10-88-195 linux-3.10.0-693.el7]#
可以看到已经有/proc/sys/net/ipv4/vs这个目录了, 我们需要修改的是/proc/sys/net/ipv4/vs/debug_level
默认debug level为0
[root@10-10-88-195 linux-3.10.0-693.el7]# cat /proc/sys/net/ipv4/vs/debug_level
0
[root@10-10-88-195 linux-3.10.0-693.el7]#
可以设置的debug level范围为[0-12], 一般设置debug level为8就差不多了, 再往上的话会把具体每个连接的信息都打印出来
[root@10-10-88-195 linux-3.10.0-693.el7]# echo 8 > /proc/sys/net/ipv4/vs/debug_level
[root@10-10-88-195 linux-3.10.0-693.el7]# cat /proc/sys/net/ipv4/vs/debug_level
8
[root@10-10-88-195 linux-3.10.0-693.el7]#
再通过sysctl验证设置是否生效, 可以看到net.ipv4.vs.debug_level已经被设置为8了
[root@10-10-88-195 linux-3.10.0-693.el7]# sysctl -a | grep debug_level
sysctl: reading key "net.ipv6.conf.all.stable_secret"
sysctl: reading key "net.ipv6.conf.default.stable_secret"
sysctl: reading key "net.ipv6.conf.docker0.stable_secret"
sysctl: reading key "net.ipv6.conf.eth0.stable_secret"
sysctl: reading key "net.ipv6.conf.eth1.stable_secret"
sysctl: reading key "net.ipv6.conf.lo.stable_secret"
net.ipv4.vs.debug_level = 8
[root@10-10-88-195 linux-3.10.0-693.el7]#
通过dmesg查看内核输出信息(IPVS日志)
dmesg具体参数用法可以通过dmesg -h查看, 示例为 -H (human readable) -e (show local time and time delta in readable format) -w (follow / wait for new message)
[root@10-10-88-195 linux-3.10.0-693.el7]# dmesg -Hew
启动keepalived测试一下
[root@10-10-88-195 linux-3.10.0-693.el7]# systemctl start keepalived
[root@10-10-88-195 linux-3.10.0-693.el7]#
可以看到debug信息已经多了不少
