BuboGPT

BuboGPT 是字节跳动团队提出的一个多模态大语言模型研究项目，论文编号 arXiv:2307.08581，2023 年发布。它要解决的问题是：此前的多模态模型虽然能看图说话，但回答往往笼统，说不清「图里哪个东西」对应哪句话。BuboGPT 在文字、图像、音频三种输入之间建立共享语义空间，让回答能定位到画面中的具体区域。

主要能力

按项目页给出的示例，它覆盖四类任务：单张图片的细粒度理解，能把描述里的词句对应到图像区域；单段音频的理解，能写出覆盖几乎全部声音片段的描述；成对的音频与图像，可以做声音定位，指出声音来自画面中的哪里；任意搭配的音频与图像，则先判断两者是否相关，再给出回答。

怎么做的

模型把不同模态的 Q-Former 通过一个投影矩阵接到预训练语言模型 Vicuna 上，训练分两步：先在大量模态与文本配对数据上做单模态预训练，再用多模态指令数据只微调投影层。图像指令数据取自 MiniGPT-4 和 LLaVA，音频数据基于 Clotho 构建，音图文本三元组基于 VGGSS 构建，并加入了负样本。

适合谁

页面面向的是看论文、跑实验的人：提供 arXiv、代码、演示、数据集和模型几个入口。普通用户想直接拿来聊天并不合适，它更像一份可复现的研究材料。费用、是否需登录、支持哪些平台，页面上都没有说明。