欢迎大家来到微调与对齐技术面试频道，这里共收集了17道高频面试考题，每篇文章即是一道高频考题，欢迎大家踊跃参与讨论。本频道的内容会不断更新，且会长期维护，有问题随时找站长反馈即可。
本频道面试考题最终会汇总成《大模型高频面试100题》，大家在网上搜索“大模型高频面试100题”或者“面试天下网”即可找到这些面试题。
这些面试考题，初看是面试八股文，背一下即可；再看则是一份职业规划，了解大模型领域的四大细分方向，你可以明确自己的职业发展，选择感兴趣的方向深入挖掘，国内头部大模型公司普遍在招 CUDA 方向的工程师，频道二则是你的关注热点；三看则是一份知识图谱，帮你构建自己的知识体系，你会发现每一道面试题凝聚的都是重点枢纽知识，可以四通八达引出更多的知识点形成一大块知识。
另外，我们知道，在读书的时候，如果带着问题去读，那么学习效果是最好的。道理类似，面试题并不是仅限于面试前的突击背题，而是贯穿学习和职业生涯。对此，我深有体会，虽然我做深度学习和大模型多年，积累了不少的开发实战经验，但是当我整理和校对这些面试题的时候，依然有很多收获。一个东西，你只有自己切身使用过，感觉好才会分享给别人。这些面试题目都是我亲自整理，我感觉真的有价值，所以才分享给大家。
LoRA改变的参数特别少，是不是微调的作用也不是那么大呢？毕竟一个训练好的大模型，其能力是十分强大的，微调只是稍微改变一点呢？
LoRA这么有效，为什么没有一开始就被发明出来呢？
LoRA的秩设多少合适？可视化LoRA中秩的直观对比
如果让你在一个垂直领域（比如医疗、法律、金融）微调一个大模型，你会如何设计完整的技术方案？从数据、方法、评估到部署，重点考虑哪些问题？
如何评估一个微调后的模型？除了 loss 和 perplexity，还有哪些指标？如何判断模型是真正学会了任务，还是只是记住了训练数据？
SFT、RM、PPO、DPO 这几个阶段的数据格式和损失函数分别是什么？它们之间如何衔接？如果跳过 SFT 直接做 DPO，会有什么问题？
微调数据中如果存在重复、噪声、格式不一致、分布偏差，分别会对模型造成什么影响？你会怎么做数据清洗和质量过滤？
什么是灾难性遗忘？全量微调和 LoRA 分别怎么缓解？如果微调后模型在通用能力上明显下降，你会从哪些方向排查和解决？
DPO 相比 PPO 做了哪些简化？为什么 DPO 不需要显式训练奖励模型？DPO 的损失函数背后是什么直觉？它和 RLHF 的效果差距在哪里？
RLHF 的完整流程是什么？奖励模型（Reward Model）是怎么训练的？PPO 在 RLHF 中扮演什么角色？它有哪些不稳定和难调的地方？
指令微调（Instruction Tuning）和 continued pre-training 有什么区别？指令微调的数据配比、数据质量和数据规模，哪个更重要？为什么？
LoRA 应该加在 Transformer 的哪些层上？只加 Q、V 和加在所有线性层上有什么区别？实际项目中你会怎么选？
全量微调、LoRA、QLoRA 分别适合什么场景？LoRA 为什么能大幅降低显存和训练成本？它的秩 r 和缩放系数 α 分别控制什么？
Prefix-tuning 面试题完整问答
Adapter 详解：原理、设计动机与面试题价值分析
LoRA 的原理是什么？为什么低秩有效？
PEFT 方法汇总与各方法的对比