ONNX Runtime 的替代品

5 个可以替代 ONNX Runtime 的软件,2 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。

对比

条目费用登录国内访问一句
TensorRT-LLM部分Linux · Windows 免费 不用登录 可以 替代 LLM 推理加速这一块:英伟达专用 kernel 更快,但只限 NVIDIA GPU,失去跨平台与 ONNX 模型
昇思MindSpore部分网页 免费 — 可以 替代训练与端侧部署:自带分布式训练可重部署到手机边缘,但换框架要改模型代码,不读 ONNX。
AudioCraft部分Linux · macOS · Windows 免费 不用登录 可以 替代音频生成部署这一块:MusicGen、AudioGen 开箱可用,但只管音频,无通用推理运行时。
llama.cpp部分Windows · macOS · Linux · Android 免费 不用登录 不可以 替代本地离线跑 LLM:纯 C/C++ 加量化,笔记本就能跑 GGUF,但没有 ONNX 多框架多硬件覆盖。
Transformers部分网页 免费 可选登录 不可以 替代模型加载与推理接口:改一行模型名换模型,但偏 PyTorch 生态,不做 ONNX 跨硬件优化。

还有人提到:OpenVINO、TensorRT、Apache TVM、OpenVINO Model Server、Triton Inference Server(本站还没收录)

按需求挑

免费的 ONNX Runtime 替代品5 个

TensorRT-LLM、昇思MindSpore、AudioCraft、llama.cpp、Transformers

开源的 ONNX Runtime 替代品5 个

TensorRT-LLM、昇思MindSpore、AudioCraft、llama.cpp、Transformers

更新于 11 月 22 日 · 报告问题

看档案打开官网