MiniGPT-4

MiniGPT-4 是一个研究项目，来自沙特阿卜杜拉国王科技大学（KAUST）的团队。它要回答的问题是：GPT-4 那些看图说话、从手写草图直接生成网页的能力，是不是只要接上一个足够强的大语言模型就能出现。做法很直接——把视觉编码器（ViT 加 Q-Former）和 Vicuna 语言模型都冻住，中间只训练一个线性投影层，把图像特征对齐到语言模型能读的空间里。

主要能力

按论文描述，MiniGPT-4 能生成详细的图像描述，也能根据手绘草稿写出网页。此外还观察到一些没专门训练过的能力：看图写故事或诗、解答图片里呈现的问题、根据食物照片教人做菜。这些能力与 GPT-4 展示过的多模态表现有相似之处。

训练分两步。第一步用约 500 万对图文数据预训练投影层，但这样出来的输出不自然，有重复和破碎的句子。第二步用一份人工整理的高质量对齐数据集，以对话模板做微调，生成可靠性和可用性才明显改善。整个训练只更新一个投影层，计算开销很小。

适合谁

适合想复现或研究多模态对齐的开发者、学生和研究者。项目页面提供了论文、代码、模型、数据集和在线演示的入口，可以拿来做实验、跑 demo，或者作为自己项目的基线。它不是面向普通用户的成品应用，没有开箱即用的聊天界面。

费用与限制

项目以论文和开源代码的形式发布，页面本身不涉及收费或账号。使用需要自己部署模型和准备环境，对硬件和动手能力有要求。页面没有给出具体的版本号或更新时间，引用信息显示论文发布于 2023 年（arXiv:2304.10592）。