动手学LLM
github.com又名 LLMs-from-scratch、llms-from-scratch-cn
Datawhale 出品的开源中文大模型教程,用可运行的 notebook 从零实现 GPT 并对照 GLM4、Llama3 等架构代码,适合有 Python 基础、愿意花时间读代码跑 notebook 的学习者。
内容免费不用登录网页中文开源

这是一个 GitHub 上的开源教程仓库,目标读者是有一点 Python 基础、想弄明白大模型内部怎么运转的人。它不教你怎么调 API,而是让你自己动手把模型写出来:从处理文本数据、写注意力机制,到搭出一个 GPT 式的模型,再拿未标注数据做预训练。
主要功能
基础部分基于 rasbt 的 LLMs-from-scratch 整理,提供两套 notebook:Codes 目录下的代码精简,适合快速跑通;Translated_Book 目录下内容更细,配文字讲解。章节按顺序排下来,第 1 章讲概念没有代码,第 2 到第 5 章分别对应文本处理、注意力、GPT 实现和预训练,第 6 到第 8 章标注为即将发布。附录里还有 PyTorch 入门和训练相关的补充内容。
另一条线是模型架构讨论,仓库里单独放了 ChatGLM3、ChatGLM4、Llama3、MiniCPM 以及 RWKV V2 到 V6 的 notebook,每个都带配置、训练脚本和核心代码,可以对照着看不同架构的实现差别。
适合谁
适合愿意花时间读代码、跑 notebook 的学习者,也适合在课堂或研究环境里当教学材料。只想了解概念、不打算动手的人,读起来会比较吃力。
费用与限制
仓库内容免费公开,采用 CC BY-NC-SA 4.0 协议,署名、非商业、相同方式共享。教程本身以教育为目的,训练出来的是小型但能跑的模型,不是 ChatGPT 那个量级。部分章节尚未完成,仓库有 157 次提交、4.5k 星标,Issue 区可以提问和反馈。
常见问题
动手学LLM 收费吗?
动手学LLM 免费使用。
用 动手学LLM 要登录吗?
不用登录就能用。
动手学LLM 有哪些平台 / App?
支持 网页。
动手学LLM 的替代品有哪些?
本站整理了 5 个替代品,例如 LLM Cookbook、Happy-LLM、LLM Course、Hello 算法。
替代品 全部 5 个 →
L
LLM Cookbook
Datawhale 维护的中文大模型入门手册,把吴恩达系列课程翻译复现为可运行的 Jupyter Notebook,覆盖提示工程、LangChain 应用与 RAG 开发,适合有 Python 基础、想按必修顺序把大模型开发串起来的人。替代大模型入门这一块:同样 Datawhale 出品、可跑 notebook,但偏应用与课程复现,不带你从零实现 GPT
H
Happy-LLM
Datawhale 出品的免费开源大语言模型教程,从 NLP 基础讲到 Transformer 与训练实践,带读者用 PyTorch 搭一个 LLaMA2 小模型,适合有 Python 基础、想弄懂原理而不只停留在调 API 的学习者。替代从零实现大模型这一块:同样免费开源中文教程,讲 Transformer 与训练实践,架构对照不如本条全
LLM Course
mlabonne 出品的开源大模型学习路线,分基础、科学家、工程师三部分,配微调、量化、模型合并的 Colab 笔记本和一键脚本,适合会一点 Python、想系统了解训练与部署的开发者按路线动手跑。替代学习路线这一块:分阶段配微调、量化 Colab 笔记本,偏工程实践,没有逐章手写 GPT 的代码讲解
Hello 算法
开源、免费、对新手友好的数据结构与算法入门教程替代动手读代码这一块:开源免费中文、notebook 式讲解,但主题是数据结构与算法,不涉及大模型