LLMs-from-scratch

LLMs-from-scratch 是一个开源教育项目，最初由 Sebastian Raschka（GitHub 用户名 rasbt）发起，旨在引导学习者使用 PyTorch 从零开始实现大型语言模型（LLM）。该项目以实践为导向，覆盖从原始文本处理、词元化、模型架构设计，到训练、微调及推理部署的完整流程。所有代码均采用 PyTorch 编写，结构清晰，便于读者复现和修改。

LLMs-from-scratch官网入口网址：https://github.com/datawhalechina/llms-from-scratch-cn

为便于中文用户学习，DataWhale 社区维护了该项目的中文翻译版本——llms-from-scratch-cn，托管于 GitHub。该中文版不仅同步更新原项目的教程与代码注释，还补充了本地化说明和学习建议，降低了非英语母语开发者的理解门槛。

该项目的核心价值在于强调“动手构建”对理解模型机制的重要性。通过亲手实现 Transformer 架构、自回归语言建模、注意力机制等关键组件，学习者能够深入掌握 LLM 的内部工作原理，而非仅停留在调用 API 或使用预训练模型的层面。内容与 Raschka 所著《Build a Large Language Model (From Scratch)》一书紧密配合，适合作为系统性学习 LLM 开发的配套资源。

LLMs-from-scratch 不仅适用于具备一定 Python 和深度学习基础的开发者，也适合高校教学或自学场景。其模块化设计支持渐进式学习，用户可按需运行特定章节的代码，逐步构建完整的语言模型。同时，项目依托 GitHub 开放协作，鼓励社区成员提交改进、提出问题，形成良好的技术交流氛围。