Cron连接正常工作5次后异常原因分析
目录
如果一个shell命令的“$?”值为141，则它是收到了SIGPIPE信号。一些shell脚本中的sleep或ps、wc等命令无效，也可能是本文描述的原因，解决办法是忽略掉SIGPIPE，脚本中可以加句：trap "" SIGPIPE。
问题描述
在Crontab中仅配置如下一条命令（为简化问题的描述和定位，剔除所有其它的）：
*/1 * * * * echo hello >> /tmp/hello.txt
也就是每分钟执行一下“echo hello >> /tmp/hello.txt”。
通过观察发现：
每次重启cron进程后，都只能连续正常工作5次，也就是可以看到“/tmp/hello.txt”新增5行“hello”。
分析定位
借助strace工具，cron进程仍然在工作，只是发生了异常：
[pid 12497] select(5, NULL, [4], NULL, {0, 10000}) = 1 (out [4], left {0, 10000})
[pid 12497] --- SIGPIPE (Broken pipe) @ 0 (0) ---
Process 12497 detached
--- SIGCHLD (Child exited) @ 0 (0) ---
发生了SIGPIPE，导致了子进程退出。翻阅cron的源代码，确认cron没有调用“signal(SIGPIPE, SIG_IGN);”来忽略SIGPIPE，因此当收到SIGPIPE信号时，进程必然退出。
进一步追踪发现，PIPE连接的是“/usr/local/sa/agent/log/sap1012.sock”，另一端则是sap1012：
# lsof /usr/local/sa/agent/log/sap1012.sock
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
sap1012 15415 root 5u unix 0xd940de40 3985983520 /usr/local/sa/agent/log/sap1012.sock
sap1012 15415 root 11u unix 0xe22fa3c0 3970596394 /usr/local/sa/agent/log/sap1012.sock
# ls -l /proc/15415
lrwxrwxrwx 1 root root 0 Apr 17 12:43 exe -> /usr/local/sa/agent/plugins/sap1012-v5.1.4
使用valgrind可以看到对PIPE的写（send）是在“/lib/libsandbox_web_ips.so”中进行的，利用ldd可以发现这个共享库在编译期间就被链接进了cron程序文件中：
# ldd /usr/sbin/cron
linux-gate.so.1 => (0xffffe000)
/lib/libbash_strip_env.so (0xb7f8c000)
/lib/libsandbox_web_ips.so (0xb7f85000)
libpam.so.0 => /lib/libpam.so.0 (0xb7f70000)
libpam_misc.so.0 => /lib/libpam_misc.so.0 (0xb7f6d000)
libc.so.6 => /lib/libc.so.6 (0xb7e4b000)
libdl.so.2 => /lib/libdl.so.2 (0xb7e47000)
libpthread.so.0 => /lib/libpthread.so.0 (0xb7e32000)
libaudit.so.0 => /lib/libaudit.so.0 (0xb7e1f000)
/lib/ld-linux.so.2 (0xb7f90000)
在Google和Baidu中找不到任何有关“libsandbox_web_ips.so”的踪影，猜测是有可能是私有的。Cron的Makefile本身并没有包含libsandbox_web_ips.so”和“/lib/libbash_strip_env.so”，如：
cc -o cron cron.o database.o user.o entry.o job.o do_command.o misc.o env.o popen.o compat.o
经实践确认，编译生成可执行文件后，可执行文件都会依赖“libsandbox_web_ips.so”和“/lib/libbash_strip_env.so”两个共享库，而且它们可能会在被加载时自动执行，但因为符号被stripped掉了，看不到细节。
终于在/etc/ld.so.preload中找到了两者：
# cat /etc/ld.so.preload
/lib/libbash_strip_env.so
/lib/libsandbox_web_ips.so
它们两个如同木马，会伴随任一程序一起运行，但libsandbox_web_ips.so可能存在问题，导致cron运行异常。
解决方法
kill掉sap1012进程，然后重启cron进程，这样cron就可以正常工作了。cron必须在sap1012之前启动，以规避问题。通过strace会发现变成如下：
[pid 11704] socket(PF_FILE, SOCK_STREAM, 0) = 3
[pid 11704] fcntl64(3, F_GETFL) = 0x2 (flags O_RDWR)
[pid 11704] fcntl64(3, F_SETFL, O_RDWR|O_NONBLOCK) = 0
[pid 11704] connect(3, {sa_family=AF_FILE, path="/usr/local/sa/agent/log/sap1012.sock"}, 110) = -1 ECONNREFUSED (Connection refused)
[pid 11704] close(3)
更好的解决办法将/lib/libbash_strip_env.so和/lib/libsandbox_web_ips.so，从/etc/ld.so.preload中剔除，但是它们就不能发挥作用了。
附1：Cron工作流
真正运行Cron命令的是vfork（有些版本为fork调用）出来的进程，写标准输出的fork是可选的，只有当存在“%”配置时才会生效，目的是通过写标准输出往vfork产生的进程输入内容。
附2：SIGPIPE发生的位置
SIGPIPE正是发生在下图所示的“send()”调用，至于是因为sap1012关闭了读端，还是其它原因，暂不清楚原因。
