Luigi
Spotify 开源的 Python 批处理流水线框架,负责任务依赖解析与调度,适合手上有一批跑几小时、彼此有先后依赖的作业、又不想上重型调度系统的团队。
4 次可以打开平均 1.8 秒11 月 13 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Luigi 是 Spotify 开源的 Python 包,用来把一堆长跑批处理任务串成流水线。它不负责底层计算,Hive、Pig、Spark、Hadoop 这些照旧用,Luigi 管的是任务之间的依赖关系、失败处理和调度,让你把精力放在任务本身。
装法很简单,pip install luigi 从 PyPI 取稳定版;需要 TOML 配置支持就装 luigi[toml],想跟最新代码则从 GitHub 仓库直接装。README 标注已在 Python 3.10 到 3.14 上测试。
主要功能
核心是 Task 与 Target 的模型:每个任务声明自己的输入输出,Luigi 据此解析依赖、决定执行顺序,某个环节失败不会让整条链停在半截数据的状态。它自带文件系统抽象,HDFS 和本地文件的读写都是原子的。
随包附带的工具箱里有跑在 Hadoop 上的 Python mapreduce 任务模板,以及 Hive、Pig 作业的支持。Luigi 服务端提供一个网页界面,可以搜索、筛选所有任务,并把依赖图可视化出来——节点是任务,边是依赖,长流水线一眼能看出卡在哪。
命令行集成也是内置的,任务可以从终端触发和传参。
适合谁
手上有一批要跑几小时甚至几天的数据作业、彼此有先后依赖、又不想上重型调度系统的团队。它适合已经用 Python 写数据管道的人,把散落的脚本收拢成可追踪的工作流。
费用与限制
项目以 Apache-2.0 协议开源,仓库在 GitHub 上,星标约 1.88 万、fork 约 2500,有 125 个未关闭 issue 和 70 个待合并 PR,说明维护活跃但积压也不少。它本身不是计算引擎,性能瓶颈仍在底层作业;界面和文档都是英文。
