目录
如果一个shell命令的“$?”值为141,则它是收到了SIGPIPE信号。一些shell脚本中的sleep或ps、wc等命令无效,也可能是本文描述的原因,解决办法是忽略掉SIGPIPE,脚本中可以加句:trap "" SIGPIPE。
问题描述
在Crontab中仅配置如下一条命令(为简化问题的描述和定位,剔除所有其它的):
*/1 * * * * echo hello >> /tmp/hello.txt
也就是每分钟执行一下“echo hello >> /tmp/hello.txt”。
通过观察发现:
每次重启cron进程后,都只能连续正常工作5次,也就是可以看到“/tmp/hello.txt”新增5行“hello”。
分析定位
借助strace工具,cron进程仍然在工作,只是发生了异常:
[pid 12497] select(5, NULL, [4], NULL, {0, 10000}) = 1 (out [4], left {0, 10000})
[pid 12497] --- SIGPIPE (Broken pipe) @ 0 (0) ---
Process 12497 detached
--- SIGCHLD (Child exited) @ 0 (0) ---
发生了SIGPIPE,导致了子进程退出。翻阅cron的源代码,确认cron没有调用“signal(SIGPIPE, SIG_IGN);”来忽略SIGPIPE,因此当收到SIGPIPE信号时,进程必然退出。
进一步追踪发现,PIPE连接的是“/usr/local/sa/agent/log/sap1012.sock”,另一端则是sap1012:
# lsof /usr/local/sa/agent/log/sap1012.sock
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
sap1012 15415 root 5u unix 0xd940de40 3985983520 /usr/local/sa/agent/log/sap1012.sock
sap1012 15415 root 11u unix 0xe22fa3c0 3970596394 /usr/local/sa/agent/log/sap1012.sock
# ls -l /proc/15415
lrwxrwxrwx 1 root root 0 Apr 17 12:43 exe -> /usr/local/sa/agent/plugins/sap1012-v5.1.4
使用valgrind可以看到对PIPE的写(send)是在“/lib/libsandbox_web_ips.so”中进行的,利用ldd可以发现这个共享库在编译期间就被链接进了cron程序文件中:
# ldd /usr/sbin/cron
linux-gate.so.1 => (0xffffe000)
/lib/libbash_strip_env.so (0xb7f8c000)
/lib/libsandbox_web_ips.so (0xb7f85000)
libpam.so.0 => /lib/libpam.so.0 (0xb7f70000)
libpam_misc.so.0 => /lib/libpam_misc.so.0 (0xb7f6d000)
libc.so.6 => /lib/libc.so.6 (0xb7e4b000)
libdl.so.2 => /lib/libdl.so.2 (0xb7e47000)
libpthread.so.0 => /lib/libpthread.so.0 (0xb7e32000)
libaudit.so.0 => /lib/libaudit.so.0 (0xb7e1f000)
/lib/ld-linux.so.2 (0xb7f90000)
在Google和Baidu中找不到任何有关“libsandbox_web_ips.so”的踪影,猜测是有可能是私有的。Cron的Makefile本身并没有包含libsandbox_web_ips.so”和“/lib/libbash_strip_env.so”,如:
cc -o cron cron.o database.o user.o entry.o job.o do_command.o misc.o env.o popen.o compat.o
经实践确认,编译生成可执行文件后,可执行文件都会依赖“libsandbox_web_ips.so”和“/lib/libbash_strip_env.so”两个共享库,而且它们可能会在被加载时自动执行,但因为符号被stripped掉了,看不到细节。
终于在/etc/ld.so.preload中找到了两者:
# cat /etc/ld.so.preload
/lib/libbash_strip_env.so
/lib/libsandbox_web_ips.so
它们两个如同木马,会伴随任一程序一起运行,但libsandbox_web_ips.so可能存在问题,导致cron运行异常。
解决方法
kill掉sap1012进程,然后重启cron进程,这样cron就可以正常工作了。cron必须在sap1012之前启动,以规避问题。通过strace会发现变成如下:
[pid 11704] socket(PF_FILE, SOCK_STREAM, 0) = 3
[pid 11704] fcntl64(3, F_GETFL) = 0x2 (flags O_RDWR)
[pid 11704] fcntl64(3, F_SETFL, O_RDWR|O_NONBLOCK) = 0
[pid 11704] connect(3, {sa_family=AF_FILE, path="/usr/local/sa/agent/log/sap1012.sock"}, 110) = -1 ECONNREFUSED (Connection refused)
[pid 11704] close(3)
更好的解决办法将/lib/libbash_strip_env.so和/lib/libsandbox_web_ips.so,从/etc/ld.so.preload中剔除,但是它们就不能发挥作用了。
附1:Cron工作流
真正运行Cron命令的是vfork(有些版本为fork调用)出来的进程,写标准输出的fork是可选的,只有当存在“%”配置时才会生效,目的是通过写标准输出往vfork产生的进程输入内容。
附2:SIGPIPE发生的位置
SIGPIPE正是发生在下图所示的“send()”调用,至于是因为sap1012关闭了读端,还是其它原因,暂不清楚原因。