← 返回首页 查看更多 →

🧠 Transformer 结构拆解

🖱️ 悬停每个组件 — 查看输入/输出维度 & 计算细节
创建时间：2026-09-09 更新时间：2026-09-11 阅读次数：1006 次
📥 输入阶段
Input Embedding 编码器
词向量映射
📐 输入嵌入
输入(batch, seq_len)
输出(batch, seq_len, d_model)
🔹 查表嵌入，d_model通常=512/768
➕ Positional Encoding 编码器
正弦/余弦位置
📐 位置编码
输入(seq_len, d_model)
输出(seq_len, d_model)
🔹 PE(pos,2i)=sin(pos/10000^(2i/d))
🔹 与嵌入相加
🔷 编码器块 (Encoder Block × N)
Self-Attention 多头
QKV注意力
⚡ 多头自注意力
输入Q/K/V(batch, seq_len, d_model)
输出(batch, seq_len, d_model)
内部投影d_k = d_v = d_model/h
🔹 Attention = softmax(QKᵀ/√d_k)·V
🔹 拼接多头后线性变换
Add & Norm 残差+LayerNorm
残差连接与归一化
🔁 Add & LayerNorm
输入(batch, seq_len, d_model)
输出(batch, seq_len, d_model)
🔹 残差: x + Sublayer(x)
🔹 LayerNorm对最后一维
Feed Forward FFN
两层MLP
📈 前馈网络
输入(batch, seq_len, d_model)
隐藏层d_ff (通常4*d_model)
输出(batch, seq_len, d_model)
🔹 FFN(x)=ReLU(xW₁+b₁)W₂+b₂
Add & Norm 残差+LN
第二个残差块
🔁 Add & LayerNorm
输入(batch, seq_len, d_model)
输出(batch, seq_len, d_model)
🔹 与FFN输出残差连接后归一化
🔽 编码器输出 (memory)
🔶 解码器块 (Decoder Block × N)
Masked Self-Attn 因果掩码
掩码自注意力
🚫 掩码自注意力
输入(batch, tgt_len, d_model)
输出(batch, tgt_len, d_model)
🔹 掩码矩阵防止看到未来位置
🔹 softmax(QKᵀ/√d_k + mask)·V
Add & Norm 残差+LN
残差归一化
🔁 Add & LayerNorm
输入(batch, tgt_len, d_model)
输出(batch, tgt_len, d_model)
Cross-Attention 编码-解码注意力
Q来自解码器, K/V来自编码器
🔗 交叉注意力
Q (解码器)(batch, tgt_len, d_model)
K,V (编码器)(batch, src_len, d_model)
输出(batch, tgt_len, d_model)
🔹 注意力权重基于Q·Kᵀ，V来自编码器
Add & Norm 残差+LN
残差归一化
🔁 Add & LayerNorm
输入(batch, tgt_len, d_model)
输出(batch, tgt_len, d_model)
Feed Forward FFN
前馈网络
📈 前馈网络
输入(batch, tgt_len, d_model)
隐藏层d_ff
输出(batch, tgt_len, d_model)
Add & Norm 残差+LN
最终残差
🔁 Add & LayerNorm
输入(batch, tgt_len, d_model)
输出(batch, tgt_len, d_model)
📤 输出阶段
Linear 投影
全连接层到词汇表
📊 线性层
输入(batch, tgt_len, d_model)
输出(batch, tgt_len, vocab_size)
🔹 权重矩阵 d_model × vocab_size
Softmax 概率
生成词概率
📈 Softmax
输入(batch, tgt_len, vocab_size)
输出(batch, tgt_len, vocab_size)
🔹 exp(z_i)/Σexp(z_j)
⚙️ 图中每个组件均支持悬停 — 输入输出维度 (batch, seq_len, d_model) 以及关键计算流程。
N 为堆叠层数（如6层），多头数 h 通常为8，d_model=512，d_ff=2048。