最近接到这样一个任务: 定期(每天、每月)向“特定服务器”传输“软件服务”的运营数据
,因此这里涉及到一个定时任务,计划使用Python语言添加Crontab依赖
写一个定时任务的脚本,实现每天、每月向服务器上传运营数据。
这篇文章是我在实现以上需求过程中,对于Crontab
的使用总结。
- Crontab 概述
- Crontab 环境搭建
- Crontab 使用案例(Python)
- Crontab 使用详解
- Crontab 操作命令行(Linux)
一、Crontab 概述
在Linux
环境中,Crontab
是一个调度守护进程
,可以按分钟、小时、每月的某天、每月、每周的某天
来执行特定任务,这些特定的任务被称为 Cron 作业
,基于这个特点,Crontab 经常被用于自动执行系统维护与管理
。
例如:可以使用 Crontab 来自动执行一些重复性的工作,比如定期发送邮件、备份数据库、备份软件运行数据、下载最近的软件补丁等等。
Crontab 文件:
在 Linux 环境中,当我们使用Crontab命令
创建cron 作业
后,系统中会生成一个 Crontab 文本文件
,用于指定 cron 作业的时间表
:
- 在基于
Red Hat 的发行版系统
,如 CentOS,crontab 该文件的存储在/var/spool/cron/
目录下; - 在
Debian 、Ubuntu等系统
中,该文件存储在/var/spool/cron/crontabs/
目录下。
如下所示/var/spool/cron/
目录下的Crontab文件:
注:
虽然我们了解到了 Crontab 的文件路径
,但并不建议手动编辑该文件
,官方推荐在终端使用crontab
命令操作该文件。
二、Crontab 环境搭建
当然在正式介绍环境搭建之前,先向朋友们汇报一下我的虚拟机环境与使用的Python版本。
我使用的虚拟机环境为CentOS 7
:
Python版本为Python 3.11.1
:
- Centos 安装 cronie
- Python 安装 python-crontab 依赖
2.1 Centos 安装 cronie
在Linux中使用Crontab之前,需要先确保安装了Crontab,安装命令如下:
# Centos 安装 cronie
yum install cronie
# 查看 Crontab 任务
crontab -l
Centos 7安装 Crontab:
2.2 Python 安装 python-crontab
在Python中使用 crontab ,还需要下载其对应的依赖包,下载安装方式如下:
# 安装Crontab
pip3 install python-crontab
Python 安装 Crontab 依赖:
若安装过程中遇到SSH支持问题相关的错误提醒,可更换如下方式进行安装:
# 安装Pycrypto:(豆瓣源)
pip3 install python-crontab -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
三、Python中使用Crontab
Crontab 在 Python中的使用相对简单,我们采用如下方式创建定时任务。
from crontab import CronTab
# 创建linux系统当前用户的crontab(当然也可以创建其他用户的,但需要对应的权限,如:user='root')
my_user_cron = CronTab(user=True)
# ~~~~~每日任务~~~~~
# 创建任务(指定绝对路径)
daily_job = my_user_cron.new(
command='python3 /home/workspace/Python3ForSftpjy5g/sftp_daily.py >> /home/workspace/Python3ForSftpjy5g/assets/output/log_crontab.txt')
# "每天凌晨2点" 执行一次 sftp_daily.py
daily_job.setall('0 2 * * *')
# ~~~~~每月任务~~~~~
# 创建任务(指定绝对路径)
monthly_job = my_user_cron.new(
command='python3 /home/workspace/Python3ForSftpjy5g/sftp_monthly.py >> /home/workspace/Python3ForSftpjy5g/assets/output/log_crontab.txt')
# "每月1日凌晨2点" 执行一次 sftp_monthly.py
monthly_job.setall('0 2 1 * *')
# 将crontab写入linux系统配置文件
my_user_cron.write()
# 命令行输入:python3 crontab_job.py 执行该py脚本,则定时任务设定完毕!
# 此刻在Linux终端 输入 contrab -l 可查看所有定时任务。
四、Crontab 使用详解
在crontab文件与crontab命令中,每一行都包含由空格分隔的5个字段
,其后跟要执行的定时任务。
4.1 crontab五个字段含义
这里举了几个简单的例子,帮助大家理解这五个字段的含义:
0 * * * * # 每小时(整点)执行一次
0 1 * * * # 每天凌晨1点执行一次
0 1 * * 0 # 每周星期日凌晨1点执行一次
0 1 1 * * # 每月1号1点执行一次
0 1 1 1 * # 每年1月1日1点执行一次
4.2 分隔与连字符用法
crontab的五个字段可能包含一个或多个值
,字段内由逗号分隔或由连字符分隔
:
-
*
星号运算符表示任何值或始终:
如果您在 Hour 字段中有星号符号,则表示该任务将每小时执行一次。 -
,
逗号运算符允许指定要重复的值的列表:
例如,如果1,3,5
设置在“小时”字段中,任务将在凌晨1点、凌晨3点、凌晨 5点执行。 -
-
连字符运算符允许指定一个值范围:
入力,如果1-5
设置在“星期”字段中,任务将从星期一到星期五运行。 -
/
斜杠运算符允许指定将在它们之间的特定间隔内重复的值。
例如,如果*/4
设置在“小时”字段中,则表示该操作将每四个小时执行一次;其与0,4,8,12,16,20
的设定含义相同。
这里举了几个简单的例子,帮助大家理解分隔与连字符用法:
*/5 * * * * # 每5分钟执行一次
0 8-16 * * * # 每天从上午8点到下午4点整点执行一次
0 15 * * 1-5 # 周一到周五每天15:00执行一次
0 3 1,15 * * # 每个月1号、15号凌晨3点执行一次
五、Linux Crontab 命令行
Linux Crontab 命令行简述如下:
-
crontab -e
编辑 crontab 文件,如果不存在则创建一个。 -
crontab -l
显示 crontab 文件内容。 -
crontab -r
删除当前的 crontab 文件。 -
crontab -i
删除您当前的 crontab 文件,并在删除前提示。
参考
python-crontab:
https://pypi.org/project/python-crontab/
使用 Crontab 设置 Cron 任务:
https://linuxize.com/post/scheduling-cron-jobs-with-crontab/
= THE END =
文章首发于公众号”CODING技术小馆“,如果文章对您有帮助,欢迎关注我的公众号。