更直观的比喻:
| 维度 | 微调(Fine-tuning) | RAG(检索增强生成) |
|---|---|---|
| 本质 | 更新模型参数,将新知识“写入”神经网络权重 | 不更新模型,从外部知识库检索信息后拼接到Prompt中 |
| 知识更新 | 慢,需重新训练,成本高 | 快,增删改知识库即可,秒级生效 |
| 幻觉问题 | 仍可能编造未学过的知识 | 大幅降低,因为有检索内容作为依据 |
| 可解释性 | 黑盒,不知道为什么答这个 | 白盒,可追溯到引用了哪篇文档 |
| 成本 | 训练成本高(GPU算力),推理成本不变 | 训练零成本,推理成本增加(检索+更长Prompt) |
| 数据量要求 | 需要几千上万条高质量标注数据 | 有几条相关文档就能工作 |
| 对“不知道”的处理 | 可能强行回答(幻觉) | 可设计为“检索不到就拒绝回答” |
面试时如果能说出“RAG + 微调互补使用”,绝对是加分项:
微调让模型“学会怎么答”(掌握格式、语气、逻辑框架),RAG让模型“知道答什么”(提供最新、最准的事实依据)。
实际落地案例:先用微调让模型学会生成符合企业规范的报告格式,再用RAG动态注入当天的销售数据,二者结合效果最好。
面试官问这个问题,不期望你背定义,而是考察你的工程决策能力。推荐按以下结构答:
如果面试比较深入,可以补充这几点:
若将模型的生成过程形式化,可以表达为:
$$ \theta^* = \arg\min_{\theta} \sum_{(x,y) \in D} \mathcal{L}\big(f_\theta(x),\, y\big) $$
其中 $\theta$ 为模型参数,$D$ 为标注数据集,$\mathcal{L}$ 为损失函数。
$$ P(y \mid x) = \sum_{z \in \text{Top-}k(\text{Retrieve}(x))} P(z \mid x) \cdot P_{\theta}(y \mid x, z) $$
其中 $z$ 为检索到的文档片段,$P(z \mid x)$ 由检索模型决定,$P_{\theta}(y \mid x, z)$ 由生成模型给出。
这两条公式在面试推导时能体现出你的数学功底,但不必主动抛出,待面试官追问原理时再用。
面试时千万不要说“哪个更好”,而是说“在什么条件下选哪个”。
RAG适合动态知识、需要溯源的场景;微调适合固定格式、高并发、低延迟的场景。 而实际工业落地,两者组合才是王道。
非常合适,而且区分度比“RAG基本流程”更高。
总结:这是一道很好的面试题,既考概念、又考场景判断,还能深挖实战经验。
评论专区
评论加载中...登录后即可发表评论