DreamTalk

DreamTalk 是一个基于扩散模型的说话头生成框架，由清华大学、阿里巴巴集团和华中科技大学的研究者共同提出。它要解决的问题是：给定一张人物照片和一段音频，生成嘴型对得上、表情自然的说话视频。论文里把框架拆成三块——去噪网络负责音频驱动的人脸运动，风格感知唇部专家负责在照顾说话风格的同时对齐口型，风格预测器则直接从音频推断表情，省去额外录一段表情参考视频的麻烦。

主要能力

项目页展示的样例覆盖面不小：中文、英文、粤语、日文歌曲都能驱动，中文、法语、德语、意大利语、日语、韩语、西班牙语语音也在列；对训练分布之外的人像和带噪声的音频同样给出了演示。说话风格可以调，比如改无分类器引导的强度，或在风格编码之间做插值。

适合谁

适合做数字人、语音驱动动画方向的研究者和开发者。页面写明代码与模型权重已经放出，并附论文、代码、YouTube 演示三个入口，想复现或在此基础上改的人可以直接从仓库开始。

费用与限制

项目页没有提收费，属于学术开源项目，不涉及账号登录。实际使用需要自己准备运行环境、下载权重并处理推理，不是打开网页就能上传照片出片的在线工具；生成效果和速度取决于本地显卡。页面还挂着阿里巴巴的招聘信息，说明它同时是团队对外展示研究工作的窗口。