VASA-1

microsoft.com又名 VASA-1

微软研究院的音频驱动人脸视频生成研究项目,输入单张照片和一段语音,实时生成口型与表情同步的说话视频,页面只提供论文与演示,适合做虚拟人、数字主播的研究者了解技术路线。

网页英文

VASA-1 首页截图

VASA-1 是微软研究院公开的一个研究项目,做的是「让照片开口说话」:给它一张静态人脸照片和一段音频,它生成一段人物说话的视频,口型跟着语音走,同时带上眨眼、微笑、头部轻微转动这类表情动作。项目页标题写的是「Lifelike Audio-Driven Talking Faces Generated in Real Time」,即实时生成逼真的音频驱动说话人脸。

它解决什么问题

传统做法要么只对口型、表情僵硬,要么需要大量目标人物的视频素材做训练。VASA-1 的思路是从单张照片出发,把音频里的语音信息映射到面部动作上,让生成结果看起来自然一些。对做虚拟人、数字主播、语音助手形象的研究者来说,这是一条可参考的技术路线。

适合谁

它更像论文和研究成果的展示页,而不是装好就能用的软件。适合关注生成式 AI、计算机视觉、虚拟形象方向的研究者和开发者阅读论文、看演示视频、了解方法细节。普通用户想拿它给自己的照片配音做视频,目前没有现成的入口。

费用与限制

页面没有给出可下载的产品、价格或使用方式,也没有说明是否需要登录。这类研究项目通常以论文和演示的形式发布,代码与模型是否开放要以官方后续公告为准。另外,用真人照片生成说话视频涉及肖像与深度伪造问题,实际使用前需要想清楚合规边界。

常见问题

VASA-1 有哪些平台 / App?
支持 网页。
VASA-1 的替代品有哪些?
本站整理了 6 个替代品,例如 OmniHuman-1、EchoMimic、MuseTalk、MagicAvatar。

替代品 全部 6 个 →

O OmniHuman-1 字节跳动智能创作团队公布的人体视频生成研究项目,用单张人像配合音频、视频或两者组合驱动,生成说话、唱歌的动态人像,覆盖卡通形象与复杂姿态,适合数字人方向研究者对照方法、评估效果边界。同为单图加音频驱动说话人像的研究项目,覆盖唱歌等更多场景,可作技术路线参照 E EchoMimic 蚂蚁集团支付宝终端技术部开源的肖像动画生成项目,可用音频、面部关键点或两者结合驱动静态人像生成口型与表情同步的视频,需自行配置环境、下载权重再推理,适合能跑模型的研究者与开发者。替代音频驱动静态人像这一块:开源可跑,支持关键点驱动,需自备算力 MuseTalk免费不用登录 腾讯音乐 Lyra Lab 开源的音频驱动唇形同步模型,输入人脸视频和音频即可改嘴型对齐,支持中英日等多语,在 NVIDIA 显卡上可实时推理,适合有深度学习基础的开发者在本地给虚拟人视频配音。替代唇形同步这一块:开源模型改嘴型,但需已有视频而非单张照片 M MagicAvatar 字节跳动 2023 年公布的多模态虚拟人研究框架,能把文本描述或源视频转成动作信号,再驱动指定形象生成动画,论文与代码公开,适合做动作生成、视频合成的研究者复现或在此基础上改。替代研究框架这一块:多模态驱动虚拟人,论文代码公开,但输入不是单张照片加音频

收录于 2025 年 11 月 · 更新于 11 月 8 日 · 浏览 274 · 报告问题

替代品 6 个打开官网microsoft.com