---

导读：本学习路线面向的是算法等底层技术岗，而非应用类岗位（如Agent开发、AI产品经理）。虽然当下Agent开发异常火爆，但是算法技术岗仍是招聘的主流，对于有志之士，我建议从事底层更有前途。对于零基础新人，我的学习建议是：先动手体验，再深入理论。不需要先学透数学和编程再开始，而是在实践中逐步补全知识。

---

第零阶段：准备阶段

在学习大模型之前，请先了解和熟悉一下PyTorch开发框架，不要搞的太细，只需要了解官方的入门教程即可，可以看看这里的介绍：PyTorch官方入门教程。另外，稍微准备一些数学基础知识，可以看看这里的介绍：《AI数学基础 • 极简入门教程》

---

第一阶段：基础扫盲 & 快速上手（预计 2–4 周）

目标：学习PyTorch和Hugging Face Transformers，能使用它们完成简单任务。

学习内容和实践任务

（1）学习PyTorch的话，我推荐《PyTorch入门精华》，这是面试天下网特有的教程。

（2）学习Hugging Face Transformers的话，请跑通 Hugging Face 官方的文本生成示例代码，例如加载 gpt2 并生成一段文字。

---

第二阶段：攻克核心原理——Transformer（预计 4–6 周）

目标：深入理解 Transformer 架构，这是所有现代大模型的“地基”。不懂它，后续的微调和应用开发只能停留在“调包侠”层面。

必读资料

• 经典论文：《Attention Is All You Need》（Vaswani et al., 2017）。
• 强烈配合图解文章：Jay Alammar 的 《The Illustrated Transformer》，用可视化方式理解注意力机制。

关键数学概念（用直觉理解，不必死磕推导）

• 自注意力（Self-Attention）中的 Query、Key、Value 计算： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V $$
• 多头注意力（Multi-Head Attention）：将 $h$ 个注意力头的结果拼接后线性变换。
• 位置编码（Positional Encoding）：用正弦/余弦函数为序列引入位置信息。
• 残差连接（Residual Connection）与层归一化（LayerNorm）：缓解梯度消失，加速训练。

实践任务

1、在 GitHub 上找一个 PyTorch 实现的精简版 Transformer 代码（如 annotated-transformer），逐行阅读，弄清数据在各个模块间的流动。

2、修改模型的层数（$L$）、注意力头数（$h$）和嵌入维度（$d_{\text{model}}$），观察输出变化。

3、可选挑战：在一个小型数据集（如 IMDB 情感分类）上，从零训练一个微型 Transformer，体验训练、验证、推理的完整流程。

---

第三阶段：工程应用落地——微调、RAG 与 Agent（持续学习，建议 3–6 个月起步）

目标：掌握企业级应用中最核心的三大技术——轻量化微调、检索增强生成（RAG）和智能体（Agent），并能独立完成可展示的项目。

1、学习轻量级微调（LoRA / QLoRA）

• 全量微调成本极高，LoRA（Low-Rank Adaptation） 是主流方案。
• 核心思想：冻结原模型权重，在每层旁路添加低秩矩阵 $A \cdot B$，仅训练这两个小矩阵。
• 工具：Hugging Face PEFT 库 + bitsandbytes 进行量化训练。

2、学习检索增强生成（RAG）

• 解决大模型“幻觉”和无法获取私有数据的问题，是目前企业落地最刚需的场景。
• 技术栈：
  • 向量数据库（Chroma、Milvus、Pinecone）
  • Embedding 模型（如 text-embedding-ada-002 或 bge-large-zh）
• 开发框架：LangChain 或 LlamaIndex

3、学习智能体（Agent）

• 让大模型能够调用外部工具（搜索引擎、计算器、数据库、API）自主完成多步任务。
• 入门重点：理解 Function Calling 和 ReAct 框架（Reason + Act）。

实践项目（建议至少完成其中两个）

项目	描述	技术要点
项目一：LoRA 微调	使用 Qwen 或 Llama 模型，在个人小数据集（如产品评论、周报、客服对话）上微调一个风格化生成器。	PEFT、QLoRA、transformers trainer
项目二：RAG 知识库问答	做一个“企业知识库助手”，上传 PDF/Word 文档后，能基于文档内容精准回答问题。	文档解析、文本分块、向量检索、Prompt工程
项目三：简单 Agent	实现一个能调用天气API和计算器的Agent，回答“明天北京气温换算成华氏度是多少？”	Function Calling、工具循环

---

给新手的四条实操建议

1、算力不必焦虑

学习阶段完全不需要购买昂贵显卡。使用云GPU平台（如 AutoDL、阿里云PAI、Colab Pro），按小时租用，通常 ¥2–¥5/小时足以跑通所有学习项目。

2、把“报错”当老师

环境冲突、CUDA版本不匹配、显存溢出（OOM）……这些是你最好的老师。学会复制错误日志去搜索，99%的问题已有解决方案。

3、以项目驱动学习

不要沉迷于“看书 → 看视频”的循环。定一个明确目标，例如“做一个自动生成日报的机器人”，然后反向查找所需知识，效率远高于线性学习。

4、关注最新动态，但不追新

大模型领域日新月异，但对于初学者，牢牢掌握 Transformer、LoRA、RAG 这三块基石，足够应对 80% 的工程岗位需求。新论文可以用作扩展阅读，但不必每篇都跟。

---

补充资源推荐

• 英文必看：Andrej Karpathy 的 nanoGPT（极简GPT实现）

---

最后提醒：这份路线图的总学习周期约为 3–6 个月（每周投入 10–15 小时）。第三阶段的内容可以长期深耕，根据你的职业方向（应用开发 / 算法工程 / 产品设计）有所侧重。祝你顺利踏入大模型的世界！

---

---