AniPortrait

AniPortrait 是一个开源项目，解决的是「让静态人像开口说话」这件事。给它一张参考肖像图和一段音频，它生成一段口型与音频对齐、头部姿态自然的动态视频；也可以再给一段视频，把视频里的表情和动作迁移到那张肖像上，做面部重演。项目由腾讯游戏智迹团队（Tencent Games Zhiji）的 Huawei Wei、Zejun Yang、Zhisheng Wang 完成，代码以 Apache-2.0 协议放在 GitHub 上。

主要功能

核心是音频驱动：音频先转成表情和头部姿态，再驱动肖像逐帧生成。2024 年 4 月的更新里加入了帧插值模块，推理时加 -acc 参数可以加快视频生成；vid2vid 的姿态重定向策略也做了调整，参考图和源视频之间姿态差异较大时也能处理。仓库里带了一个 Gradio 网页界面，运行 python -m scripts.app 就能在本地打开操作页。

怎么用起来

它不是装好就能点的软件。需要 Python 3.10 以上、CUDA 11.7 的环境，先装依赖，再手动下载一批权重：项目自己训练的 denoising_unet、reference_unet、pose_guider、motion_module、audio2mesh、audio2pose、film_net_fp16，以及 Stable Diffusion V1.5、sd-vae-ft-mse、image_encoder、wav2vec2-base-960h 这些基础模型，按指定目录结构放好才能跑。官方也在 HuggingFace Spaces 上放了在线演示，不想配环境可以先试那个。

适合谁

适合愿意折腾环境的开发者、研究者，以及想在自己机器上跑肖像动画、不希望把素材传到别人服务器的人。只想快速做一条数字人视频的普通用户，用现成的在线工具会更省事。