欢迎大家来到模型架构与Transformer面试频道，这里共收集了22道高频面试考题，每篇文章即是一道高频考题，欢迎大家踊跃参与讨论。本频道的内容会不断更新，且会长期维护，有问题随时找站长反馈即可。
本频道面试考题最终会汇总成《大模型高频面试100题》，大家在网上搜索“大模型高频面试100题”或者“面试天下网”即可找到这些面试题。
这些面试考题，初看是面试八股文，背一下即可；再看则是一份职业规划，了解大模型领域的四大细分方向，你可以明确自己的职业发展，选择感兴趣的方向深入挖掘，国内头部大模型公司普遍在招 CUDA 方向的工程师，频道二则是你的关注热点；三看则是一份知识图谱，帮你构建自己的知识体系，你会发现每一道面试题凝聚的都是重点枢纽知识，可以四通八达引出更多的知识点形成一大块知识。
另外，我们知道，在读书的时候，如果带着问题去读，那么学习效果是最好的。道理类似，面试题并不是仅限于面试前的突击背题，而是贯穿学习和职业生涯。对此，我深有体会，虽然我做深度学习和大模型多年，积累了不少的开发实战经验，但是当我整理和校对这些面试题的时候，依然有很多收获。一个东西，你只有自己切身使用过，感觉好才会分享给别人。这些面试题目都是我亲自整理，我感觉真的有价值，所以才分享给大家。
Cross-Attention 的 Q/K/V 来源？
在注意力机制中，位置编码为什么用正弦函数？
什么是归纳偏置？归纳偏置与独立同分布有什么关系？
为什么RNN假设时间不变性，从而同一套参数在所有时间步共享呢？
为什么 Transformer 能取代 RNN 成为主流？RNN 在哪些场景仍有优势？
CNN、RNN、Transformer 三种架构在归纳偏置上有什么区别？
BERT是什么？还有人在使用吗？它与RoBERTa和DeBERTa有什么关系？
Encoder-only、Decoder-only、Encoder-Decoder 三种架构各自适合什么任务？为什么现在大模型主流是 Decoder-only？
什么是 KV Cache？它为什么能加速推理？它带来哪些显存问题？MQA、GQA 如何缓解？
MoE 如何替代 FFN？它解决了什么问题？带来哪些新挑战？
softmax 的温度参数起什么作用？它和 Attention 的缩放因子有什么联系？
Attention 中的缩放因子 1/√d_k 是干什么的？不加会怎样？
FFN 在 Transformer 中的作用是什么？为什么中间维度通常放大 4 倍？
Pre-LN 和 Post-LN 有什么区别？为什么现在大模型多用 Pre-LN？
Transformer 为什么需要残差连接？如果没有残差会怎样？
Multi-Head Attention 中，多头到底学到了什么？头数越多越好吗？如何判断某些头是冗余的？
Self-Attention 的计算复杂度是多少？为什么长序列下会成为瓶颈？有哪些降低复杂度的方法？
BatchNorm 在训练阶段和推理阶段行为不同的核心点
关于 padding 污染均值和方差的问题
Transformer 为什么用 LayerNorm 而不用 BatchNorm？两者在训练和推理阶段的行为差异是什么？
Router 坍缩（Router Collapse）问题详解
请介绍一下 MoE 混合专家模型的原理，重点说明它的路由机制是怎么工作的，以及训练时会遇到哪些挑战。