动手学LLM

github.com又名 LLMs-from-scratch、llms-from-scratch-cn

Datawhale 出品的开源中文大模型教程,用可运行的 notebook 从零实现 GPT 并对照 GLM4、Llama3 等架构代码,适合有 Python 基础、愿意花时间读代码跑 notebook 的学习者。

内容免费不用登录网页中文开源

动手学LLM 首页截图

这是一个 GitHub 上的开源教程仓库,目标读者是有一点 Python 基础、想弄明白大模型内部怎么运转的人。它不教你怎么调 API,而是让你自己动手把模型写出来:从处理文本数据、写注意力机制,到搭出一个 GPT 式的模型,再拿未标注数据做预训练。

主要功能

基础部分基于 rasbt 的 LLMs-from-scratch 整理,提供两套 notebook:Codes 目录下的代码精简,适合快速跑通;Translated_Book 目录下内容更细,配文字讲解。章节按顺序排下来,第 1 章讲概念没有代码,第 2 到第 5 章分别对应文本处理、注意力、GPT 实现和预训练,第 6 到第 8 章标注为即将发布。附录里还有 PyTorch 入门和训练相关的补充内容。

另一条线是模型架构讨论,仓库里单独放了 ChatGLM3、ChatGLM4、Llama3、MiniCPM 以及 RWKV V2 到 V6 的 notebook,每个都带配置、训练脚本和核心代码,可以对照着看不同架构的实现差别。

适合谁

适合愿意花时间读代码、跑 notebook 的学习者,也适合在课堂或研究环境里当教学材料。只想了解概念、不打算动手的人,读起来会比较吃力。

费用与限制

仓库内容免费公开,采用 CC BY-NC-SA 4.0 协议,署名、非商业、相同方式共享。教程本身以教育为目的,训练出来的是小型但能跑的模型,不是 ChatGPT 那个量级。部分章节尚未完成,仓库有 157 次提交、4.5k 星标,Issue 区可以提问和反馈。

常见问题

动手学LLM 收费吗?
动手学LLM 免费使用。
用 动手学LLM 要登录吗?
不用登录就能用。
动手学LLM 有哪些平台 / App?
支持 网页。
动手学LLM 的替代品有哪些?
本站整理了 5 个替代品,例如 LLM Cookbook、Happy-LLM、LLM Course、Hello 算法。

替代品 全部 5 个 →

收录于 2025 年 7 月 · 更新于 11 月 8 日 · 浏览 267 · 报告问题

替代品 5 个打开官网github.com