strace
是Linux环境下的一款程序调试工具，用于检查一个应用程序所使用的系统调用以及它所接收的系统信息。strace会追踪程序运行时的整个生命周期，输出每一个系统调用的名字、参数、返回值和执行所消耗的时间等，是高级运维和开发人员排查问题的杀手铜。
strace命令的参数选项及说明
-c 统计每一个系统调用所执行的时间、次数和出错的次数等
-d 输出strace关于标准错误的调试信息
-f 跟踪目标进程，以及目标进程创建的所有子进程
-ff 如果提供-o filename，则将所有进程的跟踪结果输出到相应的filename.pid中，pid是各进程的进程号
-i 输出系统调用的入口指针
-q 禁止输出关于脱离的消息
-r 输出每一个系统调用的相对时间
-t 在输出中的每一行前加上时间信息。例如16：45：28
-tt 在输出中的每一行前加上时间信息，精确到微秒。例如11：18：59.759546端
-ttt 在输出中的每一行前加上时间信息，精确到微秒，而且时间表示为UNIX时间戳。例如1486111461.650434
-T 显示每次系统调用所花费的时间
-v 对于某些相关调用，把完整的环境变量、文件stat结构等打印出来
-x 以十六进制形式输出非标准字符率
-xx 所有字符串以十六进制形式输出 -e expr 输出过滤器，通过表达式，可以过滤掉你不想要的输出
expr是一个表达式，用于控制如何跟踪：[qualifier=][!][valuel[,value2]..
说明：
①qualifier 只能是trace、abbrev、verbose、raw、signal、read、write其中之一
②value是用来限定的符号或数字
③默认的qualifier是trace
④感叹号是否定符号
例如：
-e open等价于-e trace=open，表示只跟踪open调用
而-e trace!=open表示跟踪除了open以外的其他调用
常见选项：
-e trace=[set] 只跟踪指定的系统调用
-e trace=file 只跟踪与文件操作有关的系统调用
-e trace=process 只跟踪与进程控制有关的系统调用
-e trace-network 只跟踪与网络有关的系统调用
-e trace=signal 只跟踪与系统信号有关的系统调用
-e trace=desc 只跟踪与文件描述符有关的系统调用
-e trace=ipc 只跟踪与进程通信有关的系统调用
-e abbrev=[set] 设定strace输出的系统调用的结果集
-e raw=[set] 将指定的系统调用的参数以十六进制显示
-e signal=[set] 指定跟踪的系统信号
-e read=[set] 输出从指定文件中读出的数据
-e write=[set] 输出写入到指定文件中的数据 -o filename 将strace的输出写入文件filename
-p pid 指定要跟踪的进程pid，要同时跟踪多个pid，重复多次p选项即可*
-s strsize 指定输出的字符串的最大长度，默认为32。并没有将文件名视为字符串，默认全部输出
-u username 以usemame的UID和GID执行所跟踪的命令
排查Nginx403 forbidden错误
strace -tt -f /applicatton/nginx/sbin/nginx
只跟踪与文件操作有关的系统调用
strace -tt -f -e trace=file /application/nginx/sbin/nginx #只跟综与文件操作有关的系统调用。
通过pid 跟踪进程
[root@bzhl ~]# pgrep nginx
1884
7785
7786
7787
[root@bzhl ~]# pstree -p 1884
nginx(1884)─┬─nginx(7785)
├─nginx(7786)
└─nginx(7787)
[root@bzhl ~]# strace -tt -f -e trace=file -p 7785
strace: Process 7785 attached
跟踪系统调用统计
strace不仅能够追踪系统调用，使用选项-c还能对进程所有的系统调用做一个统计分析。
[root@bzhl ~]# which nginx
/usr/bin/nginx
[root@bzhl ~]# strace -c /usr/bin/nginx
% time seconds usecs/call calls errors syscall
------ ----------- ----------- --------- --------- ----------------
22.33 0.001129 7 153 52 open
15.55 0.000786 6 123 close
10.80 0.000546 6 95 mmap
8.53 0.000431 13 32 write
7.66 0.000387 10 39 read
6.47 0.000327 7 48 mprotect
5.38 0.000272 12 22 munmap
4.35 0.000220 3 87 fstat
3.20 0.000162 32 5 nanosleep
2.87 0.000145 8 19 socket
2.67 0.000135 4 38 pread64
2.29 0.000116 29 4 4 connect
1.19 0.000060 4 15 15 bind
1.03 0.000052 3 16 5 stat
1.03 0.000052 9 6 getdents
0.99 0.000050 3 15 setsockopt
0.65 0.000033 11 3 openat
0.63 0.000032 2 15 ioctl
0.63 0.000032 5 6 6 mkdir
0.47 0.000024 2 12 fcntl
0.16 0.000008 8 1 statfs
0.14 0.000007 7 1 1 readlink
0.10 0.000005 5 1 epoll_create
0.08 0.000004 2 2 rt_sigaction
0.08 0.000004 2 2 uname
0.08 0.000004 2 2 gettimeofday
0.08 0.000004 4 1 futex
0.06 0.000003 3 1 poll
0.06 0.000003 3 1 lseek
0.06 0.000003 2 2 getrlimit
0.06 0.000003 3 1 getppid
0.06 0.000003 3 1 sched_getaffinity
0.04 0.000002 1 2 brk
0.04 0.000002 2 1 rt_sigprocmask
0.04 0.000002 2 1 getuid
0.04 0.000002 2 1 arch_prctl
0.04 0.000002 2 1 set_tid_address
0.04 0.000002 2 1 set_robust_list
0.02 0.000001 1 1 geteuid
0.00 0.000000 0 1 1 access
0.00 0.000000 0 1 execve
------ ----------- ----------- --------- --------- ----------------
100.00 0.005055 779 84 total
上面的结果将清楚地告诉我们调用了哪些系统函数，调用的次数是多少，消耗了多少时间等信息，这对我们分析程序来说是非常有用的。
重定向输出。
strace -c -o tongji.log /application/nginx/sbin/nginx #用 -o 选项将strace的结果输出到文件中
对系统调用进行计时
strace -T /application/nginx/sbin/ngirnx #<=使用选项-T将每个系统调用所花费的时间打印出来，每个调用的时间花费在调用行最右边的尖括导里面。
小结：strace命令很适合处埋程序僵尸、命令执行报错等问题，如果从程序日志和系统日志中看不出问题出现的原因，则可以strace一下，也许会有答案，不过也需要使用者有足够的耐心去查看输出！
ltrace：跟踪进程调用库函数
ltrace 能够跟踪进程的库函数调用，它会显现出调用了哪个库函数，而 strace则是跟踪进程的每个系统调用。
ltrace命令的参数选项及说明
-c 统计库函数每次调用的时间，最后程序退出时打印摘要
-C 解码低级别名称（内核级）为用户级名称
-d 打印调试信息
-e expr 输出过滤器，通过表达式，可以过滤掉你不想要的输出
-e printf 表示只查看printf函数调用
-e !printf 表示查看除printf函数以外的所有函数调用
-f 跟踪子进程
-o filename 将ltrace的输出写入文件filename
-p pid 指定要跟踪的进程pid
-r 输出每一个调用的相对时间
-S 显示系统调用
-t 在输出中的每一行前加上时间信息。例如16：45：28
-tt 在输出中的每一行前加上时间信息，精确到微秒。例如11：18：59.759546
-ttt 在输出中的每一行前加上时间信息，精确到微秒，而且时间表示为UNIX时间截。例如1486111461.650434
-T 显示每次调用所花费的时间
-u username 以username的UID和GID执行所跟踪的命令
Itrace使用
ltrace的用法与strace非常相似，选项功能也是类似
[root@bzhl ~]# ltrace /usr/bin/nginx
通过pid 跟踪进程调用库函数。
[root@bzhl ~]# pgrep nginx
1884
7785
7786
7787
[root@bzhl ~]# ltrace -p 1884