Happy-LLM

Happy-LLM 是 Datawhale 社区做的一套大语言模型学习教程，完全免费开源。它面向想弄懂 LLM 原理、又不想只停留在调 API 的人：从 NLP 基本概念讲起，一路走到 Transformer 架构、预训练语言模型、大模型训练，最后带读者亲手搭一个 LLaMA2 模型并跑通预训练与微调。

内容结构

教程分八章。前四章打基础，讲 NLP 任务分类、注意力机制与 Encoder-Decoder、三类预训练模型对比，以及大模型的训练策略和涌现能力。后四章偏实战：第五章用 PyTorch 实现 LLaMA2、训练 Tokenizer、预训练一个小模型；第六章引入 Transformers 框架做预训练、有监督微调和 LoRA/QLoRA；第七章讲评测、RAG 和 Agent；第八章涉及 GRPO、Search-R1 等强化学习实践。

配套资源

项目提供了两个 215M 参数的小模型（Base 和 SFT 版）放在 ModelScope 上，可以直接下载体验；也有 PDF 版本供离线阅读，PDF 里加了 Datawhale 的水印，防止被营销号拿去贩卖。仓库按章节拆分依赖，官方建议不同章节用独立的 Python 环境，减少版本冲突。

适合谁与限制

官方定位是大学生、研究人员和 LLM 爱好者，最好有 Python 基础，了解一点深度学习和 NLP 术语。教程本身不涉及付费，但复现代码需要自备算力，小模型能在普通环境跑，完整训练则要看硬件。内容更新依赖社区贡献，遇到问题可以去 issue 区提问。