Apache Flink
Apache 软件基金会的开源分布式流处理引擎,支持有界与无界数据流的有状态计算,提供事件时间语义和 exactly-once 一致性,供数据工程师搭建实时分析与 ETL 管道。
4 次可以打开平均 1.6 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Apache Flink 是一个开源的分布式处理引擎,用来对无界和有界数据流做有状态计算。它面向的是要处理持续不断的数据、又需要记住中间状态的场景:比如从多条事件流里读数据,按事件发生的时间做窗口统计,再把结果写回外部系统。项目由 Apache 软件基金会维护,代码托管在 GitHub 上。
主要能力
Flink 的核心卖点是状态一致性。它提供 exactly-once 的状态保证,按事件时间而不是机器时间处理数据,并对迟到数据有一套处理机制。计算层提供分层 API:可以直接写 SQL 跑流和批,也可以用 DataStream API,或者下沉到 ProcessFunction 自己控制时间和状态。
运维方面,它支持多种部署方式,可以跑在 YARN、Kubernetes 上,也能以独立集群形式装在裸机上;配置高可用后没有单点故障,并支持 savepoint 和增量 checkpoint。官方称其可扩展到数千核、TB 级应用状态,主打低延迟、高吞吐和内存计算。
典型用途
- 事件驱动应用:从一条或多条事件流读取事件,触发计算、状态更新或外部动作。
- 流与批分析:对有界数据做传统批查询,对实时数据流做连续查询。
- 数据管道与 ETL:在存储系统之间抽取、转换、搬运数据。
围绕主项目还有若干独立发布的组件:Flink Kubernetes Operator、Flink CDC、Flink Agents、Flink ML、Stateful Functions,以及单独发版的连接器,例如 AWS Connectors。
版本与使用门槛
下载页显示最新稳定版为 Flink 2.3.0,另有 2.2.1、2.1.3 和 1.20.5 等版本,1.20 被标为 LTS;Kubernetes Operator 最新为 1.16,CDC 为 3.7,Agents 为 0.4,ML 为 2.3。官网提供入门文档、培训课程和中文版页面。它是给开发者用的基础设施,需要自己搭集群、写代码,不是装好就能用的桌面工具。
