Shimmy

Shimmy 是一个本地推理服务器，同时带命令行工具。它要解决的问题很具体：想在自己机器上跑大模型，又不想装 Python 环境、不想编译 llama.cpp，也不想把请求发到云端。它用 Rust 写成，通过 WebGPU 调用显卡，直接加载 GGUF 格式的模型文件，对外提供与 OpenAI API 兼容的接口，原来调用云端接口的代码改一下地址就能接上。

主要功能

启动方式是先指定模型路径和监听地址，例如用 serve --model-path 指向一个 .gguf 文件，再绑定到本机端口，之后按 OpenAI 的接口格式发请求即可。命令行里可以设置上下文长度和 KV 缓存量化方式。项目还提供 Docker 镜像、Homebrew 与 Scoop 安装包，以及预编译的原生压缩包，省去自己编译。

适合谁

适合手里有独立显卡、想搭本地推理服务的开发者，尤其是已经在用 OpenAI 接口、希望把请求切到本机的那批人。它不面向只想点开网页聊天的人，没有图形界面，需要命令行操作。

费用与限制

代码以 Apache-2.0 协议开源，可商用、可修改、可再分发，但需要保留组件与第三方声明。使用前提是机器上有可用的 Rust 工具链和显卡驱动；文档里明确提到快速配置档不提供推理能力。模型文件要自己准备，并核对哈希。