luigi学习3-使用luigid

时间:2023-12-29 11:54:08

--local-scheduler的方式只适用于开发调试阶段,当你真正要把程序部署到一个产品时,我们推荐使用luigid服务。

使用luigid服务不但能提供锁服务(防止一个任务被多个进程重复执行),并且还提供了一个友好的可视界面。

一、如何使用luigid

1.1执行luigid

首先你在一个终端执行:

luigid

那么luigid服务就会启动

1.2执行top artist任务

PYTHONPATH='' luigi --module top_artists ArtistToplistToMysql  --date-interval -

注意:这里将--local-scheduler参数去掉了,这个脚本会连接scheduler服务,也就是luigid。

你可以通过http://localhost:8082来查看可视化界面。

1.3可视化界面的截图

下面这个截图是ArtistToplistToMysql的依赖关系图:

luigi学习3-使用luigid

至此,topArtist例子就完了,你也学习到了luigi的基本用法。