TextGen
oobabooga 出品的本地大模型桌面应用,支持多后端切换、文件与图片分析及兼容 OpenAI/Anthropic 的 API,适合不想把对话发上云、在自己机器上跑模型的人。
2 次可以打开平均 5.9 秒11 月 22 日 起国内不可直接访问11 月 10 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。TextGen 是一个在本地电脑上运行大语言模型的桌面应用,前身是 text-generation-webui。它把模型下载、对话、文件分析、API 服务这些环节收进一个窗口里,不需要联网就能用,也不收集任何使用数据。对于不想把对话内容发给云端服务、或者想自己折腾模型的人来说,它解决的是「在自己机器上跑一个 ChatGPT」的问题。
主要功能
打开后可以选 instruct 模式像 ChatGPT 一样问答,也可以切到 chat 模式跟自定义角色聊天,提示词会自动套用 Jinja2 模板。聊天框里能附上图片让模型看图,也能上传 txt、PDF、docx 文件,让模型基于文件内容回答。消息可以编辑、在多个版本之间切换,对话也能从任意一条消息分叉出去。除了聊天,还有一个 Notebook 标签页,用来做自由形式的文本生成。
模型后端支持 llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 等,切换模型和后端不用重启程序。它自带一个兼容 OpenAI/Anthropic 的 API,提供 Chat、Completions、Messages 端点,支持工具调用,可以当作本地替代品接进现有工具链。工具调用方面,模型能在对话中调用自定义函数,比如联网搜索、抓取网页、做数学计算,每个工具就是一个 .py 文件,也支持 MCP 服务器。
另外还有 LoRA 微调功能,可以用多轮对话或纯文本数据集训练,中断后能接着跑;图像生成标签页支持 diffusers 模型,带 4-bit/8-bit 量化和带元数据的持久图库。界面有深色/浅色主题、代码高亮和 LaTeX 公式渲染,扩展目录里有 TTS、语音输入、翻译等内置和社区扩展。
使用方式
官方提供 Linux、Windows、macOS 的便携包,包含 CUDA、Vulkan、ROCm 和纯 CPU 版本,依赖都打包好了,下载解压后双击 textgen 就能打开窗口。模型方面,从 Hugging Face 下载 GGUF 文件放进 user_data/models 文件夹,界面会自动识别。如果要换 ExLlamaV3、Transformers 后端,或者做训练、图像生成、装扩展,需要看安装文档另外配置。
费用与限制
软件本身开源免费,采用 AGPL-3.0 许可证,没有遥测,也不发远程更新请求。它完全离线运行,所以模型文件需要自己准备,对显卡和内存有一定要求,具体取决于模型大小和量化程度。界面语言是英文,项目在 GitHub 上维护,有 47.7k 星标和 6k 分支。
