Amazon MSK
aws.amazon.com又名 Amazon Managed Streaming for Apache Kafka、MSK、AWS Amazon MSK
AWS 的全托管 Apache Kafka 服务,代管集群运维、扩缩容与故障恢复,内置 Kafka Connect 和开箱即用的安全能力,Express 代理面向分区密集型负载提升吞吐与恢复速度,适合开发者搭建日志、事件流的实时数据管道。
Amazon MSK 是 AWS 上的全托管 Apache Kafka 服务。Kafka 本身是开源的分布式消息系统,用来在系统之间搬运实时数据流;自己搭一套要操心代理配置、扩缩容、故障恢复和升级,MSK 把这些活接过去,你只管建集群、写生产者和消费者。它同时托管 Kafka Connect,连接器不用自己维护。
主要功能
集群由 AWS 运营、维护和扩展,支持多可用区部署,基础设施出问题时自动检测、缓解和恢复。安全能力开箱即用,并与其它 AWS 服务做了无代码集成,方便从上游取数、往下游送数。页面还介绍了 MSK Express 代理:相比标准 Kafka 代理,每个代理吞吐量最高 3 倍、扩展速度最高快 20 倍、恢复最高快 90%,单代理支持的分区数最多 5 倍,分区密集型负载性价比最高提升 50%。已有 Kafka 部署(本地、其它云或兼容 Kafka 协议的服务)可以把主题数据和元数据迁到 Express 代理上。
典型用法
- 摄取和处理日志与事件流,配合 Apache Zeppelin 笔记本写流处理逻辑,从数据流里拿毫秒级结果。
- 用 Kafka 的日志结构做实时、集中、可私有访问的数据总线。
- 为事件驱动型系统提供支撑,实时响应应用和业务基础设施里的数据变化。
费用与门槛
按即用即付计费,用多少付多少,没有长期合同;具体单价要看定价页,也可以用 AWS 定价计算器估算。使用前需要注册 AWS 账户,再从控制台或 AWS CLI、各语言 SDK 操作集群。页面提到的客户有 Arm 和 New Relic。
常见问题
Amazon MSK 收费吗?
Amazon MSK 是付费产品。按即用即付计费,单价见定价页。
用 Amazon MSK 要登录吗?
需要登录账号。需注册 AWS 账户。
Amazon MSK 有哪些平台 / App?
支持 网页。
