升级salt导致进程kill问题记录

重启salt-minion导致由salt启动的进程kill问题排查

作者:耀耀

blog:https://www.liuyao.me

环境

服务器系统为centos6及centos7
服务器服务进程都是由salt-master操作salt-minion启动

一、起因

服务器从salt-2015.5.11升级到2018.03.03版本
在升级的过程中导致在centos7上的一些进程被kill了

二、升级脚本（salt.sh）

# cat salt.sh
#!/bin/bash

cd /root && wget -O /root/bootstrap-salt.sh https://bootstrap.saltstack.com && bash /root/bootstrap-salt.sh  > /tmp/bootstrap-salt.log

Cenos6=`cat /etc/redhat-release|grep 6`

if [ ! -n "$Cenos6" ];then

        systemctl restart salt-minion && echo `ps -ef |grep salt|grep '201'` |cut -d" " -f2|xargs kill -9 {} >/tmp/kill.log

else
        /etc/init.d/salt-minion restart && echo `ps -ef |grep salt|grep 'python2.6'` |cut -d" " -f2|xargs kill -9 {} >/tmp/kill.log
fi

二、排查过程

我们在不同的服务器执行了salt.sh之后发现了在centos7上面的一些服务进程被kill了。之后我们排查是否因为这个脚本导致的问题，经过排查后发现bootstrap-salt.sh执行后是不会导致相关进程被kill
我们怀疑是不是
```
systemctl restart salt-minion && echo `ps -ef |grep salt|grep '201'` |cut -d" " -f2|xargs kill -9 {} >/tmp/kill.log
```
导致的问题，另外因为我们的进程在被kill -15的时候会记录日志我们从日志里发现进程确实是因为kill -15才挂掉的。那我可以认为并不是脚本里的kill -9引起的
以上我们认为有可能systemctl restart salt-minion引起的，接下来我们重复的执行这条命令,发现一个共同的问题就是只有被kill的进程是由salt-minion启动的时候才会挂掉。如果是由手动启动的进程不会因为执行这个命令而挂掉。
用starce可以看出进程的系统调用执行strace -e signal=SIGTERM -p {pid} 之后重启salt-minion 发现进程是被systemd干掉的
```
--- SIGTERM {si_signo=SIGTERM, si_code=SI_USER, si_pid=1, si_uid=0} ---
```
所以这个挂掉的问题应该是salt-minion和systemd之间的问题
研究了一下systemd的原理发现systemctl在restart service的时候，有个killmode参数，默认是control-group，会向控制组内的所有进程发送sigterm。而salt的服务配置里就使用的默认参数，由salt-minion启动的进程都在salt这个组里，所以会导致相关进程被kill
ps axwf -eo pid,user,cgroup 可以看一下是不是crgoup一样

三、总结

因为升级salt版本 minion重启的时候会导致由salt启动的进程挂掉的问题原因是centos7版本进程有systemd来进行管理远程的master发送命令给对应系统的minion minion作为父进程启动相关服务相关服务会copy minion的cgroup作为自己的cgroup 当minion重启的时候因为killmode参数，默认是control-group,所以systemd会找到和salt-minion一样的cgroup进行并且让他们停止运行。所以说导致服务挂掉，解决的办法是修改/usr/lib/systemd/system/salt-minion.service 增加KillMode=process 会解决这个问题

Yao.