---

核心理念：先动手体验，再深入理论。不需要先学透数学和编程再开始，而是在实践中逐步补全知识。

---

第一阶段：基础扫盲 & 快速上手（预计 2–4 周）

目标：建立对大模型的整体认知，消除陌生感，能使用现成模型完成简单任务。

核心概念

搞懂什么是大语言模型（LLM）、参数（Parameter）、预训练（Pre-training）、微调（Fine-tuning）、提示词（Prompt）、上下文窗口（Context Window）等基础术语。

必备工具基础

• Python：能看懂并修改简单脚本（变量、循环、函数、调用API）。
• Linux基础：会使用 cd、ls、mkdir，以及用 tmux 保持训练任务不中断。
• 认识两个关键库：PyTorch（深度学习框架）和 Hugging Face Transformers（模型加载与调用）。

实践任务

1、注册一个商用大模型账号（如 ChatGPT、文心一言、通义千问），用不同风格的提示词完成写作、总结、翻译等任务，记录模型的优缺点。

2、在 Google Colab 上（免费GPU）跑通 Hugging Face 官方的文本生成示例代码，例如加载 gpt2 并生成一段文字。

---

第二阶段：攻克核心原理——Transformer（预计 4–6 周）

目标：深入理解 Transformer 架构，这是所有现代大模型的“地基”。不懂它，后续的微调和应用开发只能停留在“调包侠”层面。

必读资料

• 经典论文：《Attention Is All You Need》（Vaswani et al., 2017）。
• 强烈配合图解文章：Jay Alammar 的 《The Illustrated Transformer》，用可视化方式理解注意力机制。

关键数学概念（用直觉理解，不必死磕推导）

• 自注意力（Self-Attention）中的 Query、Key、Value 计算： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V $$
• 多头注意力（Multi-Head Attention）：将 $h$ 个注意力头的结果拼接后线性变换。
• 位置编码（Positional Encoding）：用正弦/余弦函数为序列引入位置信息。
• 残差连接（Residual Connection）与层归一化（LayerNorm）：缓解梯度消失，加速训练。

实践任务

1、在 GitHub 上找一个 PyTorch 实现的精简版 Transformer 代码（如 annotated-transformer），逐行阅读，弄清数据在各个模块间的流动。

2、修改模型的层数（$L$）、注意力头数（$h$）和嵌入维度（$d_{\text{model}}$），观察输出变化。

3、可选挑战：在一个小型数据集（如 IMDB 情感分类）上，从零训练一个微型 Transformer，体验训练、验证、推理的完整流程。

---

第三阶段：工程应用落地——微调、RAG 与 Agent（持续学习，建议 3–6 个月起步）

目标：掌握企业级应用中最核心的三大技术——轻量化微调、检索增强生成（RAG）和智能体（Agent），并能独立完成可展示的项目。

1、学习轻量级微调（LoRA / QLoRA）

• 全量微调成本极高，LoRA（Low-Rank Adaptation） 是主流方案。
• 核心思想：冻结原模型权重，在每层旁路添加低秩矩阵 $A \cdot B$，仅训练这两个小矩阵。
• 工具：Hugging Face PEFT 库 + bitsandbytes 进行量化训练。

2、学习检索增强生成（RAG）

• 解决大模型“幻觉”和无法获取私有数据的问题，是目前企业落地最刚需的场景。
• 技术栈：
• 向量数据库（Chroma、Milvus、Pinecone）
• Embedding 模型（如 text-embedding-ada-002 或 bge-large-zh）
• 开发框架：LangChain 或 LlamaIndex

3、学习智能体（Agent）

• 让大模型能够调用外部工具（搜索引擎、计算器、数据库、API）自主完成多步任务。
• 入门重点：理解 Function Calling 和 ReAct 框架（Reason + Act）。

实践项目（建议至少完成其中两个）

项目	描述	技术要点
项目一：LoRA 微调	使用 Qwen 或 Llama 模型，在个人小数据集（如产品评论、周报、客服对话）上微调一个风格化生成器。	PEFT、QLoRA、transformers trainer
项目二：RAG 知识库问答	做一个“企业知识库助手”，上传 PDF/Word 文档后，能基于文档内容精准回答问题。	文档解析、文本分块、向量检索、Prompt工程
项目三：简单 Agent	实现一个能调用天气API和计算器的Agent，回答“明天北京气温换算成华氏度是多少？”	Function Calling、工具循环

---

给新手的四条实操建议

1、算力不必焦虑

学习阶段完全不需要购买昂贵显卡。使用云GPU平台（如 AutoDL、阿里云PAI、Colab Pro），按小时租用，通常 ¥2–¥5/小时足以跑通所有学习项目。

2、把“报错”当老师

环境冲突、CUDA版本不匹配、显存溢出（OOM）……这些是你最好的老师。学会复制错误日志去搜索，99%的问题已有解决方案。

3、以项目驱动学习

不要沉迷于“看书 → 看视频”的循环。定一个明确目标，例如“做一个自动生成日报的机器人”，然后反向查找所需知识，效率远高于线性学习。

4、关注最新动态，但不追新

大模型领域日新月异，但对于初学者，牢牢掌握 Transformer、LoRA、RAG 这三块基石，足够应对 80% 的工程岗位需求。新论文可以用作扩展阅读，但不必每篇都跟。

---

补充资源推荐

• 视频课程：李沐《动手学深度学习》PyTorch部分 + 李宏毅《生成式AI导论》
• 必读代码库：Hugging Face transformers 官方文档 + peft 示例
• 中文社区：知乎“大模型”话题、极客时间《AI大模型实战课》
• 英文必看：Andrej Karpathy 的 nanoGPT（极简GPT实现）

---

最后提醒：这份路线图的总学习周期约为 3–6 个月（每周投入 10–15 小时）。第三阶段的内容可以长期深耕，根据你的职业方向（应用开发 / 算法工程 / 产品设计）有所侧重。祝你顺利踏入大模型的世界！

---