Meltano
开源的数据集成平台,把整条数据栈写成代码放进 Git 管理,内置 600 多个连接器并接入 dbt 做转换,环境切换与发布走合并请求,适合有工程习惯、想自己掌控管道且不愿按行数付费的数据团队。
Meltano 是一个开源的数据集成平台,做的是把 SaaS 应用、API、文件和数据库里的数据抽出来、装进数据仓库,再交给 BI 工具或 notebook 使用。它把自己定位成给数据工程师用的 EL 工具:整条数据栈写成代码,放进 Git 仓库,用分支和合并请求来管理开发与生产环境的变更。
主要功能
抽取和加载环节提供 600 多个预置连接器,可以通过界面、命令行、API 或 AI 助手来添加和配置。复制策略可选全量、增量或基于日志的方式,支持批量和接近实时的同步;内置幂等处理,重复数据自动去重,回填也不用额外折腾。转换环节接的是 dbt 和 Elementary,数据模型和校验同样放在项目里做版本控制。管道调度在 Meltano Cloud 上完成,带定时、触发和重试。
环境管理是它比较特别的地方:在 meltano.yml 里定义 dev 和 prod 两套环境,各自指向不同的目标库,用 meltano --environment=prod run 这样的命令切换。上线走合并请求,每次发布对应一个可审计、可回滚的提交。
适合谁
适合有工程习惯的数据团队,尤其是想自己掌控管道、不想按行数付费的团队。页面上的说法是同样的连接器比按行计费便宜 30% 到 40%,成本随数据量增长保持可预期。社区方面,Slack 和 GitHub 上聚集了 5500 多名数据从业者。
费用与限制
开源版本免费使用,另有付费支持选项;托管编排按计算资源计费,不按数据行数。试用不需要信用卡,提供 30 天内 100 个计算小时的额度。界面为英文,使用需要熟悉命令行和 Git 工作流,纯图形化操作的用户上手会吃力。
