ONNX Runtime
微软开源的跨平台机器学习推理与训练引擎,读取 ONNX 模型并针对 CPU、GPU、NPU 优化延迟与吞吐,适合部署工程师把 PyTorch 训练好的模型几行代码跑在现有技术栈里。
3 次可以打开平均 2.5 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。ONNX Runtime 是微软开源的机器学习引擎,用来在已有的技术栈里加速模型推理和训练。它读取 ONNX 格式的模型,也支持把 PyTorch 等框架训练出的模型转换过来,然后针对 CPU、GPU、NPU 做优化,减少延迟、提高吞吐。装好之后几行代码就能跑起来:用 pip install onnxruntime 安装,创建 InferenceSession 加载模型,再调用 run 得到输出。
主要能力
推理是它的核心场景。ONNX Runtime 支撑了 Windows、Office、Azure 认知服务和 Bing 里的 AI 功能,也用在大量第三方项目中,覆盖云端、边缘、网页和移动端。网页端有 ONNX Runtime Web,可以在浏览器里直接跑 PyTorch 等模型;移动端有 ONNX Runtime Mobile,供 Android 和 iOS 应用嵌入 AI 能力。
训练方面,它面向大模型训练做加速,材料里点名了 Llama-2-7b 这类 Hugging Face 模型和 Azure AI 机器学习工作室的模型目录;也支持在设备本地训练,让开发者拿一个推理模型继续训练,做出更个性化、更保护隐私的体验。生成式 AI 是另一个方向,文本生成(Llama、Mistral、Phi)、图像生成(Stable Diffusion)、音频(Whisper)等模型都能通过它部署。
语言与平台
官方支持 Python、C#、C++、Java、JavaScript、Rust 等语言,运行环境包括 Linux、Windows、Mac、iOS、Android 和浏览器。文档站按语言给出了快速上手教程和 API 说明。
适合谁
适合要把训练好的模型部署到生产环境的开发者,尤其是需要跨平台、跨硬件跑推理,或者想在端侧做训练和生成式 AI 应用的团队。它本身是底层引擎,不是开箱即用的应用,用之前得先有 ONNX 格式的模型和基本的机器学习开发经验。