OpenCLIP

github.com又名 open_clip_torch

mlfoundations 维护的开源 CLIP 复现库,用 PyTorch 写成,提供 LAION、DataComp 等数据上训练的预训练权重,适合多模态方向的研究者与开发者自备 Python 和 GPU 环境后调用。

打开官网替代品 3 个 本站 11 月 22 日 实测可以打开
最近 4 次实测

2 次可以打开平均 4.3 秒11 月 16 日 起国内不可直接访问

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。

OpenCLIP 是 OpenAI CLIP 的开源复现,用 PyTorch 写成,代码托管在 GitHub 的 mlfoundations 组织下。它把「文字和图片映射到同一个向量空间」这件事做成了可复用的库:给定一张图和一句描述,可以算相似度,从而做零样本分类、图文检索这类任务。除了图文,它还包含 CLAP 这类语言-音频模型。

主要能力

仓库提供了一整套预训练权重,训练数据从 LAION-400M、LAION-2B 到 DataComp-1B 不等,模型结构覆盖 ConvNext 和 ViT 系列,参数量和输入分辨率各不相同。README 里列了各模型在 ImageNet-1k 上的零样本准确率,从 71.5% 到 85.4% 都有,方便按算力和精度取舍。加载方式统一,OpenAI 原版 ViT-L-14 和 SigLIP、DFN 等其他开源模型也能通过同一套接口调用。

训练脚本、多标签零样本评估脚本和线性探针脚本都在仓库里,配套文档和教程放在 docs 与 tutorials 目录,其中有一份 int8 量化的 notebook。模型卡发布在 Hugging Face Hub 上。

版本与使用门槛

当前主线是 4.x,4.2.1 是 PyPI 上第一个 4.x 正式版;3.x 留在 v3 分支,可以用 pip install 'open_clip_torch<4' 装回旧版。从 3.x 升上来时,预训练模型的推理接口基本兼容,但训练脚本和下游集成需要对照迁移指南检查。

它是给写代码的人用的,不是装好就能点的软件:要自己配 Python 环境、装 PyTorch,模型权重要另外下载,跑训练还得有 GPU。仓库本身免费,采用开源许可证,代码和权重可以按许可证条款使用。

常见问题

用 OpenCLIP 要登录吗?
不用登录就能用。

替代品全部 3 个,带对比表 →

替代品 3打开官网