Braintrust

Braintrust 是一个给 AI 智能体做「主动可观测」的平台。智能体出错的方式和普通软件不一样——它可能悄悄漂移、悄悄变差，光看报错日志发现不了。Braintrust 把生产环境里的每一次调用、每一句提示词、每一次工具调用都记下来，让你能回放、搜索、打分，再拿真实数据去跑评测，把「感觉不对」变成可验证的结论。

主要功能

平台围绕三件事组织：观察、评测、发现。观察部分负责实时追踪智能体的完整轨迹，看延迟、成本和质量，支持在几百万条日志里搜索，也能自定义视图做人工标注。评测部分让你用真实数据集跑实验，把不同提示词和模型并排比较，打分方式可以是 LLM 裁判、代码评分器或人工。发现部分则用自然语言去查轨迹，自动找出反复出现的行为模式，再把有问题的样本一键转成评测数据集。

另外还有几个配套能力：Loop 能根据你描述的目标自动生成更好的提示词、评分器和数据集；Patterns 是跑在生产轨迹上的自动化，帮你找出值得排查的重复问题；MCP 服务器让 IDE 里的编码智能体直接查日志、跑评测、改提示词。SDK 覆盖 Python、TypeScript、Go、Ruby、C# 等语言，官方称几行代码就能接入，且不锁定框架。

适合谁

已经在生产环境跑智能体的团队，尤其是工程和产品要一起看数据的场景。官网列出的客户包括 Notion、Graphite 等 AI 团队，案例里提到用 Patterns 从被动救火转向主动排查。如果只是本地写写提示词、还没上线，免费版也能用，但平台的价值更多体现在有真实流量之后。

费用与限制

Starter 免费，每月送 10 美元模型额度、1 GB 处理数据、1 万次评分，数据保留 14 天，用户和项目数不限，不需要信用卡。Pro 每月 249 美元，额度提到 100 美元、5 GB 数据、5 万次评分，保留 30 天，多了自定义图表、环境、RBAC 和优先支持；符合条件的初创公司可免费用 6 到 12 个月。企业版按需报价，支持本地部署。超出额度的部分按量计费，处理数据每 GB 4 美元起，评分每千次 2.5 美元起。平台通过 SOC 2 Type II 认证，符合 GDPR 和 HIPAA，支持 SSO 和细粒度权限。