LivePortrait

LivePortrait 是快手科技（Kuaishou Technology）推出的一个肖像动画框架。给它一张静态人像照片，再给一段驱动视频，它就能让照片里的人做出与驱动视频相似的表情和头部动作，生成一段看起来自然的动态视频。驱动信号也可以来自音频、文本或生成模型，但官方演示主要围绕视频驱动展开。

主要功能

它基于隐式关键点框架，而不是主流的扩散模型路线，因此在计算效率和可控性之间做了平衡。官方提供了拼接（stitching）和两个重定向（retargeting）模块，可以单独控制眼睛睁开的程度和嘴唇张开的幅度，这两个控制都通过一个很小的 MLP 实现，额外计算开销可以忽略。在 RTX 4090 上配合 PyTorch，生成速度标称达到 12.8 毫秒。

训练数据规模约 6900 万帧高质量画面，采用图像与视频混合训练策略，并升级了网络架构和运动变换、优化目标。除了真人肖像，经过动物数据微调后，猫、狗、熊猫等动物也能被人像视频驱动，做出唱歌跳舞之类的动作。

适合谁

适合对肖像动画、人脸重演（face reenactment）感兴趣的研究人员和开发者。项目提供了论文、在线演示和 GitHub 代码，可以自己部署模型做实验，也可以基于它开发视频编辑、虚拟形象之类的应用。普通用户如果只想快速做一段动态照片视频，可能需要先过环境配置这一关。

费用与限制

代码和模型在 GitHub 上公开，属于开源项目，具体许可证需查看仓库。官方页面没有列出付费方案或登录要求。使用前需要自备 GPU 环境，并具备一定的深度学习部署经验。论文发表于 2024 年，引用信息为 arXiv:2407.03168。