IP-Adapter
腾讯 AI Lab 开源的轻量图像提示适配器,给已训练好的文生图模型加上参考图控制能力,适合在本地或云端跑 Stable Diffusion、想稳定复现某个形象或画风的开发者。
3 次可以打开平均 3.8 秒11 月 19 日 起国内不可直接访问11 月 10 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。IP-Adapter 是腾讯 AI Lab 开源的一个轻量适配器,解决的是「让已经训练好的文生图模型看懂参考图」这件事。原本 Stable Diffusion 这类模型只认文字提示,想固定人物长相或画风往往要重新微调;装上 IP-Adapter 后,把一张图作为图像提示喂进去,模型就会照着这张图的特征生成新画面,而且能和文字提示一起用,做多模态生成。
主要功能
仓库里提供的不只是一个模型权重,还有配套的推理与训练代码。按 README 的发布记录,它支持 SDXL、FaceID 系列(用脸部图像当提示)、Plus 版本(细粒度特征)、与 ControlNet 组合使用,也能接 T2I-Adapter 和 Kandinsky 2.2。2023 年 9 月起被 WebUI 和 ComfyUI 支持,11 月起进入 Diffusers,用现成插件就能调用。
- 图像提示:用参考图控制生成结果的人物、风格
- 多模态提示:图像与文字提示同时生效
- 可迁移:能用于同一基座微调出的其他模型
- 训练脚本:tutorial_train 系列可自行训练适配器
适合谁
适合在本地或云端跑 Stable Diffusion、想稳定复现某个形象或画风的用户,以及需要把图像提示能力集成进自己产品的开发者。仓库里附了多个 Jupyter Notebook 示例,装好环境后按 demo 跑一遍就能看到效果。
费用与限制
代码以 Apache-2.0 协议开源,仓库免费取用,模型权重也在仓库说明中给出。使用门槛不在价格,而在环境:需要自己配 Python、PyTorch 和扩散模型,对不写代码的人不算友好。仓库 Issues 有近三百条,遇到问题多半得自己翻讨论。界面与文档均为英文。