---

在 Cross-Attention（交叉注意力）中，Q、K、V 来自两个不同的序列，这是它与 Self-Attention 最本质的区别。

核心结论

即：Q 来自一边，K 和 V 来自另一边。

为什么这样设计

注意力的本质是「用 Query 去匹配 Key，再取出对应的 Value」。在 Cross-Attention 中：

• Q 代表「我现在想要什么信息」——由当前解码状态决定；
• K/V 代表「外部能提供什么信息」——由源序列（如编码器输出）提供。

这样解码器就能在生成每一步时，动态地从源序列中提取相关信息。

典型场景

1、Transformer 机器翻译（编码器-解码器）

编码器输出 → K, V
解码器当前状态 → Q

解码器生成每个词时，用 Q 去查询编码器对源句子的表示。

2、Transformer 解码器中的 Masked Self-Attn + Cross-Attn

解码器每一层包含两个注意力子层：

• Masked Self-Attention：Q/K/V 全来自解码器自身（防止看到未来）
• Cross-Attention：Q 来自解码器，K/V 来自编码器输出

3、多模态（如 Stable Diffusion / Flamingo）

文本特征 → K, V
图像特征 → Q

用图像特征去查询文本条件，实现文本引导图像生成。

4、语音识别、VQA 等

• 语音/图像 → Q
• 文本 → K, V
• 或反过来，取决于谁查询谁

一句话记忆

Q 是「提问方」，K/V 是「被查询方」。Cross-Attention 就是让一个序列去查询另一个序列。

---

---