Luigi

github.com又名 spotify/luigi

Spotify 开源的 Python 批处理流水线框架,负责任务依赖解析与调度,适合手上有一批跑几小时、彼此有先后依赖的作业、又不想上重型调度系统的团队。

打开官网替代品 2 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

4 次可以打开平均 1.8 秒11 月 13 日 起国内不可直接访问

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。
github.comLuigi 首页截图

github.com 首页 · 本站实拍 · 点开看大图

Luigi 是 Spotify 开源的 Python 包,用来把一堆长跑批处理任务串成流水线。它不负责底层计算,Hive、Pig、Spark、Hadoop 这些照旧用,Luigi 管的是任务之间的依赖关系、失败处理和调度,让你把精力放在任务本身。

装法很简单,pip install luigi 从 PyPI 取稳定版;需要 TOML 配置支持就装 luigi[toml],想跟最新代码则从 GitHub 仓库直接装。README 标注已在 Python 3.10 到 3.14 上测试。

主要功能

核心是 Task 与 Target 的模型:每个任务声明自己的输入输出,Luigi 据此解析依赖、决定执行顺序,某个环节失败不会让整条链停在半截数据的状态。它自带文件系统抽象,HDFS 和本地文件的读写都是原子的。

随包附带的工具箱里有跑在 Hadoop 上的 Python mapreduce 任务模板,以及 Hive、Pig 作业的支持。Luigi 服务端提供一个网页界面,可以搜索、筛选所有任务,并把依赖图可视化出来——节点是任务,边是依赖,长流水线一眼能看出卡在哪。

命令行集成也是内置的,任务可以从终端触发和传参。

适合谁

手上有一批要跑几小时甚至几天的数据作业、彼此有先后依赖、又不想上重型调度系统的团队。它适合已经用 Python 写数据管道的人,把散落的脚本收拢成可追踪的工作流。

费用与限制

项目以 Apache-2.0 协议开源,仓库在 GitHub 上,星标约 1.88 万、fork 约 2500,有 125 个未关闭 issue 和 70 个待合并 PR,说明维护活跃但积压也不少。它本身不是计算引擎,性能瓶颈仍在底层作业;界面和文档都是英文。

常见问题

Luigi 收费吗?
Luigi 免费使用。

替代品全部 2 个,带对比表 →

替代品 2打开官网