定时任务
定时任务的说明和分类
# 定时任务分类： 1. crond(crontab) 定时任务软件（软件包 cronie） 2. atd 运行一次 3. anacron 非7*24小时运行的服务器 # 检查 cronie 是否安装： rpm -qa 软件名 [root@NEO ~]# rpm -qa cronie cronie-1.4.4-16.el6_8.2.x86_64 [root@NEO ~]# # 查看软件包中的内容： rpm -ql 软件包 [root@NEO ~]# rpm -ql cronie /etc/cron.d /etc/cron.d/0hourly /etc/cron.deny /etc/pam.d/crond /etc/rc.d/init.d/crond /etc/sysconfig/crond /usr/bin/crontab /usr/sbin/crond /usr/share/doc/cronie-1.4.4 /usr/share/doc/cronie-1.4.4/AUTHORS /usr/share/doc/cronie-1.4.4/COPYING /usr/share/doc/cronie-1.4.4/ChangeLog /usr/share/doc/cronie-1.4.4/INSTALL /usr/share/doc/cronie-1.4.4/README /usr/share/man/man1/crontab.1.gz /usr/share/man/man5/crontab.5.gz /usr/share/man/man8/cron.8.gz /usr/share/man/man8/crond.8.gz /var/spool/cron [root@NEO ~]#
系统的定时任务：
# 系统的定时任务： /etc/cron.hourly /etc/cron.daily /etc/cron.weekly /etc/cron.monthly # 系统会自动运行里面的内容，系统中毒的时候 # 系统定时任务 + logrotate 命令 完成对日志的日志切割/日志轮询 [root@NEO ~]# ll /var/log/messages* /var/log/secure* -rw------- 1 root root 747970 Apr 6 23:01 /var/log/messages -rw-------. 1 root root 560162 Mar 10 13:11 /var/log/messages-20190310 -rw-------. 1 root root 1776477 Mar 18 02:54 /var/log/messages-20190318 -rw------- 1 root root 281719 Mar 25 05:09 /var/log/messages-20190325 -rw------- 1 root root 748600 Apr 2 03:01 /var/log/messages-20190402 -rw------- 1 root root 11127 Apr 6 23:12 /var/log/secure -rw-------. 1 root root 5897 Mar 10 13:20 /var/log/secure-20190310 -rw-------. 1 root root 15581 Mar 18 02:54 /var/log/secure-20190318 -rw------- 1 root root 842 Mar 25 05:19 /var/log/secure-20190325 -rw------- 1 root root 6890 Apr 2 03:10 /var/log/secure-20190402 [root@NEO ~]# # /etc/crontab 是系统定时任务的配置文件之一
用户的定时任务
# 用户的定时任务 # crontab -l ---> （list） 列表；查看、管理用户定时任务的命令； cron table # crontab -e ---> (edit) 编辑；编辑用户的定时任务 (crontab -e 之后的操作和 vim 一模一样) # /var/spool/cron/root ---> 用户的定时任务存放的位置 (root 是用户名 root用户的定时任务) [root@NEO ~]# crontab -l no crontab for root # root 用户没有定时任务 [root@NEO ~]# crontab -e [root@NEO ~]# crontab -l #oldboy [root@NEO ~]# ll /var/spool/cron/ total 4 -rw------- 1 root root 8 Apr 7 00:22 root # 刚才创建的那个定时任务 [root@NEO ~]#
定时任务的使用：
# 定时任务的使用： # 1. 定时任务依赖的软件（服务） --- 是否能用 1） 查看当前是否正在运行 2） 查看 crond 是否开机自启动 # 查看定时任务当前是否在运行： # 方法一： [root@NEO ~]# /etc/init.d/crond status crond (pid 1555) is running... # 方法二： ps -ef ---> 该命令用于 显示系统中正在运行的进程（这种方法用的比较多）；process status [root@NEO ~]# ps -ef |grep crond root 1555 1 0 Apr06 ? 00:00:00 crond # 这个表示定时任务正在运行 root 1719 1625 0 00:37 pts/0 00:00:00 grep --color=auto crond # 第二列表示 pid （进程号） # 检查定时任务是否开机自启动：chkconfig [root@NEO ~]# chkconfig |grep crond crond 0:off 1:off 2:on 3:on 4:on 5:on 6:off [root@NEO ~]#
crontab 命令的使用：
1. crontab -e ---> edit ；编辑当前用户的定时任务 ---> 该命令即相当于 编辑 vim /var/spool/cron/root 这个文件 （假设当前是root用户） 2. crontab -l ---> list ；显示当前用户的定时任务 ---> 该命令即相当于 cat /var/spool/cron/root 这个文件 （假设当前是root用户） # 使用 crontab 命令、而不直接操作相关文件的原因： 1. 有语法检查功能 格式对不对 2. 方便
定时任务相关文件及目录
# 定时任务相关文件及目录 1. /var/spool/cron/ ---> 定时任务的配置文件所在的目录 2. /var/log/cron ---> 定时任务的日志文件 （运行过程的一个记录） ； *** 很重要 3. /etc/cron.deny ---> 哪些用户禁止使用定时任务 ，即 定时任务黑名单
定时任务格式与常见写法：
定时任务格式说明：
注意：
# 注意： 星期几和日期不要同时加上
定时任务中的特殊符号：
# 1. * ---> 每 ...；每分钟，每小时 ... ； 5个 * 表示每一分钟 （定时任务中最小单位是分钟） # 2. /n ---> 每隔 ... ； */10 * * * * 表示 每隔/每10分钟 # 事例： 每三分钟同步一下系统的时间 # 1）. 命令： [root@NEO ~]# which ntpdate /usr/sbin/ntpdate [root@NEO ~]# /usr/sbin/ntpdate ntp1.aliyun.com # 把这条命令放到 定时任务中 7 Apr 01:54:44 ntpdate[1793]: step time server 120.25.115.20 offset 141.016804 sec # 注：在定时任务中命令要用绝对路径 # 2）. 把命令放到定时任务中 [root@NEO ~]# crontab -e [root@NEO ~]# crontab -l #sync time by neo at 20170407 */3 * * * * /usr/sbin/ntpdate ntp1.aliyun.com [root@NEO ~]# # 3）. 检查：3.1 看日志；3.2 看结果 [root@NEO ~]# date Sun Apr 7 02:02:50 CST 2019 [root@NEO ~]# date -s "1year" # 先把系统时间修改掉 Tue Apr 7 02:02:57 CST 2020 [root@NEO ~]# tail -f /var/log/cron Apr 7 01:59:19 NEO crontab[1799]: (root) LIST (root) Apr 7 02:00:01 NEO crond[1555]: (root) RELOAD (/var/spool/cron/root) Apr 7 02:00:01 NEO CROND[1802]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com) Apr 7 02:00:01 NEO CROND[1803]: (root) CMD (/usr/lib64/sa/sa1 1 1) Apr 7 02:01:01 NEO CROND[1812]: (root) CMD (run-parts /etc/cron.hourly) Apr 7 02:01:01 NEO run-parts(/etc/cron.hourly)[1812]: starting 0anacron Apr 7 02:01:01 NEO anacron[1824]: Anacron started on 2019-04-07 Apr 7 02:01:01 NEO run-parts(/etc/cron.hourly)[1826]: finished 0anacron Apr 7 02:01:01 NEO anacron[1824]: Jobs will be executed sequentially Apr 7 02:01:01 NEO anacron[1824]: Normal exit (0 jobs run) Apr 7 02:03:01 NEO CROND[1849]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com) # 定时任务执行 Apr 7 02:03:07 NEO CROND[1854]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com) # 定时任务执行 [root@NEO ~]# date Sun Apr 7 02:03:09 CST 2019 # 定时任务执行后，系统时间更新 [root@NEO ~]# # 3. - ===> 表示从...到... ， 例如： 07-11 可以表示 7点到11点的时候运行定时任务 # 事例：每天的上午7点到上午11点，每个小时运行CMD命令 * 07-11 * * * * CMD # 07-11 每分钟运行CMD 00 07-11 * * * CMD # 07-11 每个小时（整点）运行CMD # 表示小时的时候一定要注意分钟 # 4. , ---> 逗号 表示 分隔；如： 00 17,19,20 * * * 表示 17点、19点和20点
定时任务书写流程与常见失误：
# 定时任务中出现错误不会有提示 # 例题1：每分钟把自己和名字追加到 /oldboy/oldboy.txt 中 [root@NEO oldboy]# crontab -e [root@NEO oldboy]# crontab -l |tail -2 # append my name to /oldboy/oldboy.txt every minute by neo at 20170407 * * * * * /bin/echo "NEO" >>/oldboy/oldboy.txt [root@NEO oldboy]# tail -f /var/log/cron [root@NEO oldboy]# tail -f oldboy.txt # 例题2：每天晚上的23点及00点到7点 每个小时重启一下 nginx # 不能写成 23-07，而应是 23,00-07 # 定时任务书写流程： # 1. 命令行测试 --- 先在命令行测试你写的命令有没有问题 # 2. 把命令放入到脚本中 （命令多了建议写到一个文件中，这个文件就是命令的集合，就是脚本） # 3. 测试下脚本是否可用 # 4. 写定时任务 # 5. 检查结果： 5.1 查看定时任务的日志 5.2 命令是否执行成功
定时任务九句箴言
# 1. 定时任务规则之前加上注释 --- 谁在什么时间做什么 # 2. 使用脚本替代命令行定时任务： 2.1 超过两条命令，都使用脚本 2.2 脚本：命令的集合，命令大礼包 # 3. 定时任务中date命令 % 百分号： 定时任务中的 % 会被认为是一个 回车；想要去除 定时任务中 % 的回车，需要用到 \ ，如： date 中的 \%F 和 \%T 所以 定时任务中 尽量用 脚本（能避免 坑） # 4. 运行脚本一定要用 /bin/sh 或 sh # 5. 定时任务中，命令或脚本结果（正确及错误）定向到黑洞 （>/dev/null 2>&1）或追加到文件中 >>/tmp/oldboy.txt 2>&1 # 6. 避免不必要的程序及命令输出： 如： tar zcf # 用这个， tar zcvf # 不要用加 v 的 这个 # 7. 打包压缩使用相对路径（切到目标目录的上一级打包目标） # 8. 定时任务脚本中的程序文件，尽量用绝对路径： 1. * * * * * echo oldboy >>oldboy.log #** oldboy.log 要用绝对路径 2. 用户的定时任务中，默认存放 在当前用户的 家目录 3. 系统的定时任务，是存放在根目录下 # 9. 系统与命令位置有关的环境变量问题 # 脚本示例： 每分钟显示当前系统的时间（年-月-日的格式），追加到 /tmp/time.log 中 # 1）. 命令 [root@NEO oldboy]# date +%F 2019-04-07 # 2）. 脚本： 把脚本都放到 /server/scripts 这个目录中 [root@NEO oldboy]# mkdir -p /server/scripts [root@NEO oldboy]# vim /server/scripts/show_date.sh [root@NEO oldboy]# cat /server/scripts/show_date.sh date +%F [root@NEO oldboy]# /server/scripts/show_date.sh # 运行脚本 的方法 -bash: /server/scripts/show_date.sh: Permission denied # 执行失败的原因是该脚本没有执行权限 [root@NEO oldboy]# ll /server/scripts/show_date.sh -rw-r--r-- 1 root root 9 Apr 7 14:30 /server/scripts/show_date.sh [root@NEO oldboy]# sh /server/scripts/show_date.sh ### 以后手动执行脚本主要就是用 sh 命令 （sh 是命令解释器的一种，另一种是 bin/bash ；这两种其实是一样的）；通过 "sh + 脚本的名字" 就能解决 执行权限 的问题 [root@NEO oldboy]# ls -l `which sh bash` -rwxr-xr-x. 1 root root 942200 Mar 23 2017 /bin/bash lrwxrwxrwx. 1 root root 4 Oct 16 00:36 /bin/sh -> bash # sh 就是一个指向 /bin/bash 的软链接 [root@NEO oldboy]# sh /server/scripts/show_date.sh 2019-04-07 [root@NEO oldboy]# sh /server/scripts/show_date.sh >>/tmp/date.log [root@NEO oldboy]# cat /tmp/date.log 2019-04-07 # 3）. 脚本写入定时任务 [root@NEO oldboy]# crontab -l |tail -2 # print date to file /tmp/date.log by neo at 20190407 * * * * * /bin/sh /server/scripts/show_date.sh >>/tmp/date.log # /bin/bash + 脚本的名字 [root@NEO oldboy]# # 4）. 检查：看日志 ； 看文件的内容 [root@NEO oldboy]# tail -f /var/log/cron [root@NEO oldboy]# tail -f /tmp/date.log 2019-04-07 2019-04-07 2019-04-07 2019-04-07 # 企业故障案例： # 5. 定时任务中，命令或脚本结果（正确及错误）定向到黑洞 （>/dev/null 2>&1）或追加到文件中 >>/tmp/oldboy.txt 2>&1 [root@NEO ~]# crontab -l #sync time by neo at 20170407 */3 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1 # 应该定向到黑洞 # append my name to /oldboy/oldboy.txt every minute by neo at 20170407 # * * * * * /bin/echo "NEO" >>/oldboy/oldboy.txt 2>&1 # 遇到追加到文件时， 就不需要追加到黑洞； echo NEO >>/oldboy/oldboy.txt 2>&1 表示 把前面命令的信息追加到文件，无论是对的还是错的信息都追加到这个文件中（对错说的是命令对还是错） # print date to file /tmp/date.log by neo at 20190407 * * * * * /bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1 # 把前面脚本的执行结果追加到文件中，无论对的还是错的都追加到该文件中 [root@NEO ~]# # 故障案例：如果不这么做，会怎么样 ？ # 如果定时任务规则结尾不加 >/dev/null 2>&1 或者追加到文件中 >>/tmp/oldboy 2>&1 ，很容易导致硬盘 inode 空间被占满，从而系统服务不正常 # 定时任务中 命令或脚本的结果 没有定向到空或文件中： # 1. 邮件的软件没有开启 --- 大量小文件堆积在 /var/spool/postfix/maildrop/ --- inode 满了 # 2. 邮件软件开启了 --- 定时任务会不断的给 root 用户发邮件 --- You have new mail in /var/spool/mail/root # 查看邮件服务有没有开： /etc/init.d/postfix status [root@NEO ~]# /etc/init.d/postfix status master (pid 1500) is running... You have new mail in /var/spool/mail/root [root@NEO ~]# # 该邮件服务需要关闭：（服务器上的服务开的越少越好） # /etc/init.d/postfix stop # 临时关闭 # chkconfig postfix off # 不让 postfix 开机运行 # 模拟工作中 邮件服务关闭的情况 [root@NEO ~]# /etc/init.d/postfix stop Shutting down postfix: [ OK ] You have new mail in /var/spool/mail/root [root@NEO ~]# /etc/init.d/postfix stop [root@NEO ~]# chkconfig postfix off [root@NEO ~]# chkconfig |grep postfix postfix 0:off 1:off 2:off 3:off 4:off 5:off 6:off [root@NEO ~]# # 关闭邮件服务后， 定时任务没有定向到空，它就会不断的给你发邮件，但是你把邮件关了，系统会把这些发不出去的邮件临时找一个邮件的临时目录放着： /var/spool/postfix/maildrop/ [root@NEO ~]# ll /var/spool/postfix/maildrop/ total 12 -rwxr--r-- 1 root postdrop 499 Apr 7 21:39 16C403F8A7 -rwxr--r-- 1 root postdrop 502 Apr 7 21:42 9CE953F8EC -rwxr--r-- 1 root postdrop 502 Apr 7 21:36 A1BFC3F899 # 会占用一个 inode [root@NEO ~]# # 解决办法： 定时任务定向到空或文件中 [root@NEO ~]# crontab -e [root@NEO ~]# crontab -l #sync time by neo at 20170407 */3 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1 # append my name to /oldboy/oldboy.txt every minute by neo at 20170407 # * * * * * /bin/echo "NEO" >>/oldboy/oldboy.txt 2>&1 # print date to file /tmp/date.log by neo at 20190407 * * * * * /bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1 [root@NEO ~]# # 定时任务运行脚本环境变量问题；系统与命令位置有关的环境变量问题 # 每分钟 显示当前系统的时间：年-月-日_周 和当前系统的ip地址，追加到 /tmp/ip.log 文件中 # 1）. 命令： [root@NEO ~]# date +%F_%w 2019-04-07_0 [root@NEO ~]# ifconfig eth0 |awk -F "[ :]+" 'NR==2{print $4}' 10.0.0.200 # 2）. 脚本： [root@NEO ~]# vim /server/scripts/ip.sh [root@NEO ~]# cat /server/scripts/ip.sh date +%F_%w ifconfig eth0 |awk -F "[ :]+" 'NR==2{print $4}' [root@NEO ~]# /bin/sh /server/scripts/ip.sh 2019-04-07_0 10.0.0.200 [root@NEO ~]# /bin/sh /server/scripts/ip.sh >>/tmp/ip.log [root@NEO ~]# cat /tmp/ip.log 2019-04-07_0 10.0.0.200 # 3）. 写到定时任务中 [root@NEO ~]# crontab -e [root@NEO ~]# crontab -l|tail -2 # print date + ip to file /tmp/ip.log by neo at 201904072314 * * * * * /bin/sh /server/scripts/ip.sh >>/tmp/ip.log 2>&1 [root@NEO ~]# tail -f /var/log/cron Apr 7 23:14:01 NEO CROND[2329]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1) Apr 7 23:15:01 NEO CROND[2334]: (root) CMD (/usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1) Apr 7 23:15:01 NEO CROND[2335]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1) Apr 7 23:16:01 NEO CROND[2340]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1) Apr 7 23:16:10 NEO crontab[2326]: (root) REPLACE (root) Apr 7 23:16:10 NEO crontab[2326]: (root) END EDIT (root) Apr 7 23:16:21 NEO crontab[2343]: (root) LIST (root) Apr 7 23:17:01 NEO crond[1541]: (root) RELOAD (/var/spool/cron/root) Apr 7 23:17:01 NEO CROND[2347]: (root) CMD (/bin/sh /server/scripts/show_date.sh >>/tmp/date.log 2>&1) Apr 7 23:17:01 NEO CROND[2348]: (root) CMD (/bin/sh /server/scripts/ip.sh >>/tmp/ip.log 2>&1) [root@NEO ~]# tail -f /tmp/ip.log 2019-04-07_0 10.0.0.200 2019-04-07_0 /server/scripts/ip.sh: line 2: ifconfig: command not found 2019-04-07_0 /server/scripts/ip.sh: line 2: ifconfig: command not found # 命令找不到的原因： PATH 环境变量的问题 # /server/scripts/ip.sh: line 2: ifconfig: command not found 的解决办法：ifconfig 改为 /sbin/ifconfig [root@NEO ~]# vim /server/scripts/ip.sh [root@NEO ~]# cat /server/scripts/ip.sh date +%F_%w /sbin/ifconfig eth0 |awk -F "[ :]+" 'NR==2{print $4}' [root@NEO ~]# [root@NEO ~]# tailf /tmp/ip.log 2019-04-07_0 /server/scripts/ip.sh: line 2: ifconfig: command not found 2019-04-07_0 /server/scripts/ip.sh: line 2: ifconfig: command not found 2019-04-07_0 /server/scripts/ip.sh: line 2: ifconfig: command not found 2019-04-07_0 /server/scripts/ip.sh: line 2: ifconfig: command not found 2019-04-07_0 10.0.0.200 2019-04-07_0 10.0.0.200 # ifconfig 命令就能正常运行 # 定时任务运行脚本的时候可以识别的PATH只有 /usr/bin 和 /bin (echo tar date 命令都在这两个路径中，所以这些命令不用绝对路径也没问题)，但 ifconfig 命令需要用绝对路径，因为 ifconfig 命令在 /sbin/ifconfig [root@NEO ~]# which ifconfig ntpdate /sbin/ifconfig /usr/sbin/ntpdate [root@NEO ~]# # 解决办法： 1. 命令使用绝对路径 2. 在脚本开头重新定义一下 PATH ，如： export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin JAVA tomcat 里面一般需要重新定义 PATH 环境变量 # 记忆： /bin /sbin # / /usr/bin /usr/sbin # /usr /usr/local/bin /usr/local/sbin # /usr/local
如何删除大量小文件
# 某个目录有大量小文件，删除方法： # 1. ls |xargs rm # 2. 删除文件所在的目录（删除之前记录好权限和所有者） # 创建环境： [root@NEO oldboy]# mkdir -p /test [root@NEO oldboy]# cd /test [root@NEO test]# ll total 0 [root@NEO test]# touch {1..500000}.txt -bash: /bin/touch: Argument list too long # 创建文件太多，报错；解决办法如下： [root@NEO test]# echo {1..500000}.txt |xargs touch # 创建大量文件 [root@NEO test]# df -i Filesystem Inodes IUsed IFree IUse% Mounted on /dev/sda3 593344 555467 37877 94% / tmpfs 60748 1 60747 1% /dev/shm /dev/sda1 51200 39 51161 1% /boot [root@NEO test]# ls |wc -l 500000 [root@NEO test]# pwd /test [root@NEO test]# \rm -f * -bash: /bin/rm: Argument list too long # 文件太多，直接删除也会报错；解决办法： 交给 |xargs 删除： ls |xargs \rm -f [root@NEO test]# ls |xargs \rm -f [root@NEO test]# ll total 0