DemoFusion
ruoyidu.github.io又名 DemoFusion
开源的高分辨率图像生成框架,把 SDXL 等潜扩散模型当底座,用渐进式流程生成 4 倍乃至更高分辨率的图,适合熟悉 Stable Diffusion 生态、能自己配置 GPU 环境的研究者本地跑实验。
工具英文开源
打开官网 ruoyidu.github.io
DemoFusion 是一个来自学术论文的高分辨率图像生成框架,作者包括北京邮电大学、清华大学、爱丁堡大学和萨里大学的研究者。它不训练新模型,而是把已有的开源潜扩散模型(比如 SDXL)当作底座,通过一套渐进式流程让它们输出比原生分辨率大得多的图。解决的问题很直接:高分辨率生成通常被大公司藏在付费墙后,而开源模型直接放大又容易糊或重复。
主要功能
核心是「放大—扩散—去噪」循环:先生成常规分辨率的图,再把它当作高分辨率阶段的初始值,用噪声反转和跳跃残差保持全局一致,同时用空洞采样改善局部去噪路径。按论文描述,SDXL 原生上限是 1024×1024,DemoFusion 能让它在不微调、不爆显存的情况下生成 4 倍、16 倍甚至更高分辨率的图,所有示例都在单张 RTX 3090 上跑出来。它还能和 ControlNet 组合做可控生成,也可以把真实图片编码后替换第一阶段输出,实现真实图片的放大——不过作者特意避免叫它「超分辨率」,因为结果会更偏向底模的潜空间分布。
适合谁
适合熟悉 Stable Diffusion 生态、能自己跑 Python 和 GPU 环境的研究者或开发者。它没有面向普通用户的网页界面,页面上的 Demo 和 Code 链接指向论文配套资源,不是开箱即用的在线服务。渐进式流程需要更多轮次,中间结果可以当预览用,方便快速迭代提示词。
费用与限制
代码开源,论文和项目页免费公开,但运行需要本地 GPU 和相应环境配置。它不是超分辨率工具,放大真实图片时细节是「生成」出来的,和原图未必一致。