IDM-VTON
KAIST 与 OMNIOUS.AI 提出的虚拟试衣扩散模型,把服装图像拆成语义与低层两路编码,在 VITON-HD 和 DressCode 上让同一件衣服穿在不同人身上细节保持一致,适合虚拟试衣方向的研究者复现论文与搭建实验环境。

IDM-VTON 是一个虚拟试衣(virtual try-on)研究项目,出自 KAIST 与 OMNIOUS.AI。给它一张人物照片和一张服装图片,它会渲染出这个人穿上这件衣服的样子。项目页面本身是论文的项目主页,放了摘要、方法示意、多组对比结果,以及论文、演示和代码的入口。
它解决什么问题
此前的虚拟试衣方法多沿用图像修复类的扩散模型,生成画面比 GAN 方案自然,但衣服的款式、纹理、logo 这些细节容易走样。IDM-VTON 的做法是把服装图像拆成两路编码:一路用视觉编码器提取高层语义,接进交叉注意力层;另一路用并行的 UNet 提取低层特征,接进自注意力层。再给服装和人物分别配上文字描述,比如「短袖圆领 T 恤」「模特穿着 [V]」,让生成结果更贴近原衣服。
实际效果
项目页展示了 VITON-HD 和 DressCode 两个数据集上的结果,同一件衣服穿在不同人身上,细节保持一致。作者还从互联网和社交平台收集了真实场景的人物与服装图,用来验证复杂背景、多样姿态下的表现,并给出一种用一对人物-服装图做微调的定制方法。页面上的对比图里,蓝色框是人物,红色框是服装。
适合谁,用之前要知道
这是学术研究项目,不是面向普通消费者的试衣应用。想复现或二次开发,需要按论文和代码自行搭建环境、准备模型权重和输入图,对机器和动手能力有要求。项目页明确写着,本工作仅用于学术研究和示例展示,不用于商业用途;页面上的模型和服装图片来自互联网、社交平台和公开数据集,图片与品牌归各自所有者。费用、是否要登录、支持哪些平台,页面上都没有说明。