LLaVA

LLaVA 是一个把图像和语言接在一起的大模型，全称 Large Language-and-Vision Assistant。它用 CLIP 的视觉编码器读图，再通过一个投影矩阵把图像特征送进 Vicuna 语言模型，让模型能围绕图片回答问题、描述细节、做推理。项目由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学的研究者合作完成，论文发表在 NeurIPS 2023。

主要能力

它面向日常对话和科学推理两类场景训练。视觉聊天部分用 GPT-4 生成的 15.8 万条图文指令数据微调，能对没见过的图片做多轮问答；在 Science QA 数据集上，单独使用 LLaVA 准确率达到 90.92%，再让 GPT-4 参考它的答案做判断，可以到 92.53%。后续的 LLaVA-1.5 在 11 个基准上取得当时的最好成绩，训练只用公开数据，在单台 8 卡 A100 机器上约一天完成。

适合谁

适合做多模态研究、想复现或微调视觉语言模型的人。项目把模型、代码和指令数据都公开了，数据放在 HuggingFace 上，可以按对话、详细描述、复杂推理三个子集下载。普通用户如果想直接聊天看图，这个页面本身不提供在线服务，需要自己部署或找托管了该模型的平台。

费用与限制

代码、模型和数据的许可都限定为研究用途，数据集采用 CC BY NC 4.0，只能非商业使用，训练出的模型也不应超出研究目的。使用还受 CLIP、LLaMA、Vicuna 和 GPT-4 各自许可的约束。页面没有给出面向终端用户的定价或注册入口。