Google Cloud Dataflow

cloud.google.com官网已核对又名 Dataflow、Cloud Dataflow

Google Cloud 的全托管数据处理服务,基于 Apache Beam 统一模型,做批量与流式 ETL、实时分析和实时机器学习推断,给数据工程师和团队用。

打开官网替代品 12 个 本站 11 月 21 日 实测:国内不可直接访问
最近 2 次实测

0 次可以打开平均 30.2 秒

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。

Dataflow 是 Google Cloud 上的全托管数据处理服务,跑在无服务器基础架构上。它用 Apache Beam 的统一模型写流水线,同一套代码既能跑批量作业,也能跑流式作业,把 Pub/Sub、Kafka、CDC 事件、点击流、日志、传感器数据接进来,再写往 BigQuery、Cloud Storage、Spanner、Bigtable、Splunk、Datadog 等目的地。对使用者来说,省掉的是自己搭集群、调资源、盯扩容这一摊事。

主要能力

自动扩缩是它的核心机制,作业可以扩到每项作业 4,000 个工作器,按负载自动增减,批处理和流式流水线都适用。流式场景下,Streaming Engine 把数据重排和状态处理从工作器虚拟机挪到服务后端;批处理场景下,Dataflow Shuffle 在工作器之外做数据重排。

上手路径不止写代码一条。Dataflow 模板是预先设计好的批处理和流式蓝图,针对 CDC 和 BigQuery 数据集成做了优化,点几下就能部署;作业构建器提供图形界面,不写代码也能在控制台里搭流水线;也可以在 Gemini 平台的 Notebooks 里迭代开发,再交给 Dataflow 运行程序部署。

机器学习方面,MLTransform 用来做数据预处理,RunInference 用来跑模型推断,支持 Gemini 和 Gemma 模型,也能做远程推理。多模态数据(图片、文本、音频)可以并行提取和转换,再融合成统一表示喂给生成式 AI 模型。

监控与安全

诊断工具会自己找瓶颈:Straggler 检测识别拖慢作业的环节,数据采样让你看每个流水线步骤里的数据,数据分析给出改进建议。界面上有作业图、执行详情、指标、自动扩缩信息中心和日志,还有作业费用监控界面用来估算开销。安全上支持机密虚拟机加密使用中的数据、客户管理的加密密钥、VPC Service Controls,可以关掉公共 IP,审核日志能回答谁在何时何地做了什么。

费用与门槛

按用量计费,以秒为单位、每个作业分开算。计费项包括工作器 vCPU 和内存、处理的 Dataflow Shuffle 数据、Streaming Engine 计算单元或旧版按处理数据量计费,另外 Persistent Disk、GPU 和快照也单独收费。批处理可以用 FlexRS,把常规虚拟机和抢占式虚拟机混在一个工作器池里,并在 6 小时窗口内推迟启动,vCPU 和内存费用大约省 40%。承诺使用 1 年省 20%、3 年省 40%。作业还会用到 BigQuery、Pub/Sub、Cloud Storage、Cloud Logging 等其他服务的资源,那部分另算。新客户有 $300 赠金可抵扣 Dataflow 费用。要动手得先有 Google Cloud 账号并登录控制台。

常见问题

Google Cloud Dataflow 收费吗?
Google Cloud Dataflow 是付费产品。按秒计费;FlexRS 批处理约省 40%,承诺 1 年省 20%。
用 Google Cloud Dataflow 要登录吗?
需要登录账号。需 Google Cloud 账号登录控制台。
Google Cloud Dataflow 有哪些平台 / App?
支持 网页。

替代品全部 12 个,带对比表 →

替代品 12打开官网