ProPainter

shangchenzhou.com又名 ProPainter、ProPainter for Video Inpainting

南洋理工大学 S-Lab 的视频修复研究项目,把图像域与特征域传播结合训练,并用稀疏 Transformer 做时空注意力以压低显存,可做物体移除、画面补全和画面外扩,适合愿意自行搭环境跑代码的研究者与后期人员处理素材。

工具英文国内可直接访问

打开官网替代品 2 个 shangchenzhou.com
ProPainter 首页截图

ProPainter 是一个视频修复(video inpainting)的研究项目,来自南洋理工大学 S-Lab,论文发表在 ICCV 2023。它要解决的问题是:视频里有一段不想要的东西,或者画面缺了一块,怎么让前后帧自然接上。项目页把用途分成三类——把物体从视频里抹掉、把被遮罩的画面补全、把画面往外扩。

页面本身是论文的项目主页,不是可以直接上传视频的在线工具。上面有摘要、方法说明、演示视频和 BibTeX 引用信息,代码和 Demo 以链接形式给出。

方法上做了什么

作者认为已有的两条路线各有短板:基于光流的传播容易因为光流不准而错位,Transformer 又受显存和时间范围限制,看不到远处帧的信息。ProPainter 的做法是把图像域和特征域的传播合起来训练,再用一个只处理部分 token 的稀疏 Transformer 做时空注意力,从而在保留效果的同时压低显存占用。论文给出的数字是在 PSNR 上比此前方法高 1.46 dB。

适合谁

适合做视频修复方向的研究者、需要复现或改进这类模型的学生,以及愿意自己跑代码、拿它处理素材的后期人员。只想点几下就导出成片的普通用户,在这里找不到现成的上传入口。

费用与限制

项目页没有写收费方式、账号体系或支持平台,这些信息页面上看不到。实际使用要按论文和代码自行搭建环境,硬件和调参的门槛需要自己评估。

常见问题

ProPainter 国内能访问吗?
本站 11 月 8 日 检测,ProPainter 在国内可以直接访问。
ProPainter 的替代品有哪些?
本站整理了 2 个替代品,例如 VISION XL、MagicEdit。

替代品 全部 2 个 →

收录于 2024 年 7 月 · 更新于 11 月 8 日 · 本站 11 月 8 日 检测 · 浏览 191 · 报告问题

替代品 2 个打开官网shangchenzhou.com