Text Generation Inference

github.com又名 TGI

Hugging Face 出品的大模型部署与推理工具包,支持张量并行、连续批处理与 token 流式输出,适合手里有 GPU、要把开源模型包装成可调用 API 的开发者。

打开官网替代品 7 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

4 次可以打开平均 2.9 秒11 月 19 日 起国内不可直接访问11 月 10 日 仓库已归档

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。
github.comText Generation Inference 首页截图

github.com 首页 · 本站实拍 · 点开看大图

Text Generation Inference(简称 TGI)是 Hugging Face 做的一套大语言模型部署与推理工具包。它解决的是「模型训练好了,怎么稳定、高效地对外提供生成服务」这件事:把 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX 这类开源模型跑起来,对外提供文本生成接口。Hugging Face 自己的 Hugging Chat、Inference API 和 Inference Endpoints 都用它支撑。

主要功能

它自带一个简单的启动器,多数主流开源模型填上名字就能起服务。面向生产的部分包括:用 OpenTelemetry 做分布式追踪、暴露 Prometheus 指标;多卡时用张量并行加快推理;用 Server-Sent Events 做 token 流式输出;对进来的请求做连续批处理以提高总吞吐。接口层面提供与 OpenAI Chat Completion 兼容的 Messages API,方便已有客户端直接切换。推理侧针对 Flash Attention、Paged Attention 做了优化,量化支持 bitsandbytes、GPT-Q、EETQ、AWQ、Marlin、fp8 等多种方案,权重用 Safetensors 加载,还带水印和 logits 处理等能力。

适合谁

主要给需要自己托管模型的开发者和运维团队:手里有 GPU 机器,想把开源模型包装成可调用的 API,或者要评估不同量化方案对吞吐的影响。它不是一个开箱即用的聊天网站,装好之后面对的是命令行、Docker 和接口文档。

现状与限制

仓库已在 2026 年 3 月 21 日被所有者归档,转为只读,项目进入维护模式,之后只接受小 bug 修复、文档改进和轻量维护类的 PR。官方在 README 里把优化推理的方向指向了 vLLM、SGLang,以及 llama.cpp、MLX 这类本地引擎。新项目选型时,这一点值得先考虑清楚。

常见问题

Text Generation Inference 收费吗?
Text Generation Inference 免费使用。
用 Text Generation Inference 要登录吗?
不用登录就能用。
Text Generation Inference 有哪些平台 / App?
支持 Linux、macOS、Windows。

替代品全部 7 个,带对比表 →

替代品 7打开官网