---

这是一个很自然的直觉，但结论恰恰相反：LoRA 改变的参数量少，并不等于微调的作用小。 这里有几个关键点需要拆开来看。

1、“参数少”和“作用小”是两回事

LoRA 通常只训练原模型参数的 0.1%–1% 左右，但它的作用可以非常大。原因在于：

• 大模型的权重是高度冗余的。一个 70 亿参数的模型，真正决定“输出什么风格、什么任务、什么知识调用方式”的方向，可能只占很小一部分子空间。
• 低秩更新可以撬动很大的行为变化。ΔW = BA 虽然秩很低，但它作用在每一层的权重上，会逐层放大，最终显著改变模型的输出分布。

打个比方：一辆车的发动机很强大，但你只需要轻轻转动方向盘（很小的参数变化），就能让它从直行变成转弯。方向盘的角度变化很小，但作用不小。

2、微调不是“给模型补充新能力”，而是“重新调度已有能力”

预训练模型确实已经很强，但它的强是通用能力。微调的作用通常不是教它全新的知识，而是：

• 任务对齐：让它按照特定格式、特定风格、特定目标输出；
• 行为约束：减少幻觉、遵守指令、拒绝不当请求；
• 领域适应：让通用能力在医学、法律、代码等特定语境下更可靠；
• 知识注入：在必要时注入预训练数据中没有或过时的信息。

这些变化不需要改动大部分参数，因为能力本身已经存在，只是需要被引导到正确的方向。LoRA 正是在做这种“引导”。

3、为什么少量参数就够：内在秩假设

LoRA 背后的核心假设是：微调时权重的更新量 ΔW 具有低内在秩。也就是说，虽然 W 很大，但完成特定任务所需要的调整方向并不多。

这个假设在实验中得到了广泛验证。很多任务上，LoRA 用极少的参数就能达到甚至接近全量微调的效果。这说明：

大模型的能力不是靠微调“重新学出来”的，而是靠预训练“已经学好了”，微调只是选择性地激活和组合这些能力。

4、但也要注意：LoRA 不是万能的

说“LoRA 作用很大”也不意味着它能替代所有全量微调。它的局限包括：

• 复杂新任务：如果任务需要模型学习全新的、与预训练分布差异很大的能力，LoRA 可能不够；
• 大规模知识注入：想注入大量新知识时，低秩更新容量有限；
• 极端领域偏移：领域差异过大时，少量参数可能无法充分适应。

所以在实践中，LoRA 往往用于指令微调、风格对齐、领域轻量适应等场景；而需要深度改造模型时，仍可能选择全量微调或其他方法。

5、一个更准确的理解框架

可以把预训练模型想象成一个已经读过海量书籍、具备广泛推理能力的人。微调不是让他重新上学，而是：

• 告诉他：“以后回答问题时，用这种格式、这种语气、这种侧重点。”
• 或者：“在这个专业领域里，注意这些细节和规范。”

这些“叮嘱”本身信息量不大，但能显著改变他的表现。LoRA 就是把这些“叮嘱”编码成一小组参数，挂在原模型上。

总结

• 参数少 ≠ 作用小：大模型权重高度冗余，低秩更新可以撬动很大行为变化。
• 微调不是补能力，而是调方向：预训练已经提供了能力，微调负责对齐、约束和适应。
• LoRA 的有效性恰恰说明：大模型的能力更多是“已经存在”，微调只是“选择性地激活”。
• 但它也有边界：需要全新能力或大规模知识注入时，LoRA 可能不够。

所以，LoRA 改变参数少，不是因为微调作用小，而是因为大模型本身太强、太冗余，以至于少量精准的调整就能产生很大的效果。

---

---