Apache Airflow

airflow.apache.org官网已核对又名 Airflow、Apache Airflow software project

Apache 软件基金会的开源工作流编排平台,用 Python 定义任务依赖,按计划调度并监控执行,给数据工程师和运维搭数据管道。

打开官网替代品 9 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

5 次可以打开平均 1.4 秒

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。
airflow.apache.orgApache Airflow 首页截图

airflow.apache.org 首页 · 本站实拍 · 点开看大图

Apache Airflow 是一个开源的工作流编排平台,由 Apache 软件基金会维护。它要解决的问题是:一堆按顺序、按时间、按依赖关系跑的任务,怎么用代码写清楚、按时触发、出错能看见。你把流程写成 Python 脚本(DAG),Airflow 负责按计划跑起来,并在网页界面里显示每个任务的进度和日志。

主要功能

流程用标准 Python 写,调度时间、循环生成任务都用语言本身的写法,不需要记 cron 那套表达式。内置 Jinja 模板做参数化,同一份流程可以按不同参数实例化。架构是模块化的,通过消息队列把任务分给任意数量的 worker,任务量涨上去可以横向加机器。

它自带一批即插即用的 operator,可以直接在 Google Cloud、AWS、Azure 和其他第三方服务上执行任务;不够用时也能自己写 operator 和扩展库。网页界面用来监控、调度和管理流程,已完成和进行中的任务状态、日志都能查。

适合谁

会 Python、需要把数据搬运、模型训练、基础设施操作串成定时流程的开发者。官方说法是「任何懂 Python 的人都能部署工作流」,流程范围不设限。团队里做数据管道和批处理调度的,通常拿它当调度中枢。

费用与限制

项目本身开源,代码在社区里迭代,想贡献改动直接提 PR。它是自托管的平台,装在自己的服务器上,机器、依赖和运维要自己管,不是注册就能用的在线服务。官网当前博客提到 3.4.0 版本,新增任务循环、多语言 DAG 和 AI Agent 相关内容。

常见问题

Apache Airflow 收费吗?
Apache Airflow 免费使用。

替代品全部 9 个,带对比表 →

替代品 9打开官网