AWS Glue
亚马逊云科技的无服务器数据集成服务,内置基于 Apache Spark 的 ETL、自动架构发现和集中式数据目录,支持 Iceberg、Hudi、Delta Lake 与实时模式,适合数据工程师把上百个来源的数据摄取进数据湖并处理架构演变。
2 次可以打开平均 3.2 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。AWS Glue 是亚马逊云科技(AWS)提供的一项无服务器数据集成服务,用来把散落在数据库、数据仓库、数据湖和 SaaS 应用里的数据发现、清洗、转换后汇到一处。它面向的是要搭数据管道的数据工程师和分析团队:不用自己开服务器,在控制台里连数据源、编排作业、看运行状态就行。
主要功能
核心是 ETL。Glue 提供内置的 ETL 能力、自动架构发现和集中式数据目录,作业基于开源 Apache Spark 构建,可以用 Python 和 Scala 写转换逻辑。页面提到当前基于 Apache Spark 4.1.1,支持 Python 3.12 和 Scala 2.13,同时支持 Iceberg 1.10.0、Hudi 1.1.1 和 Delta Lake 4.0.0。Spark 声明式管道只需声明转换逻辑,执行顺序、依赖、错误处理和检查点由引擎处理;另有生成式 AI 辅助生成代码、把旧版 Spark 作业迁移到 Glue 的功能。
数据目录(Glue Data Catalog)集中管理元数据,爬网程序(Crawler)自动发现架构,可与 Lake Formation 集成做治理,架构注册表支持流数据的 AVRO、JSON 和 Protocol Buffers。Iceberg v3 的 VARIANT 类型能直接存储和查询 JSON、日志、事件流等半结构化数据,不必再单独维护一份副本。
使用场景
- 把上百个来源的数据摄取进数据湖,处理架构演变、纳秒级时间戳和空间几何类型。
- 替换手工编排的脆弱管道,做 ETL 管道现代化。
- 实时分析:实时模式可做到个位数毫秒级延迟,欺诈检测、实时个性化、物联网告警都在同一环境里跑。
- 为机器学习和 AI 代理准备干净、结构化的训练数据。
费用与限制
按实际使用量付费,按秒计费,无需预置或维护服务器,也没有前期投入;具体单价要看定价页。使用需要注册 AWS 账户,控制台登录后操作。作业跑在 AWS 云上,代码虽基于开源 Spark、可移植到其他支持 Spark 的环境,但要用上目录、爬网程序和治理能力,还是得在 AWS 体系内。页面还提到宝马每天处理来自 120 万辆汽车的 10 TB 数据、Stifel Financial 用它搭现代数据平台等客户案例。