《PyTorch面试精华》

---

1 前言

---

2 深度学习之数学基础

---

3 PyTorch入门疑难点

---

4 PyTorch全局设置

---

5 PyTorch GPU分布式训练

---

6 向量的基础与核心

---

7 神经网络基础

---

8 计算机视觉基础知识

---

9 循环神经网络基础

---

10 注意力机制

---

11 PyTorch归一化

---

12 激活函数相关内容

---

13 思考题的答案

---

---

词嵌入的实现方式

实现词嵌入通常有两种做法：

（1）利用PyTorch自带的Embedding Layer；

（2）使用预训练模型，例如ELMo，Bert等，使词嵌入之间有更好的语义信息；

PyTorch词嵌入的主要的步骤

PyTorch词嵌入的主要的步骤如下所示：

1、准备好所要使用的语料库 2、构建字典，使语料库中的每个词都对应一个索引 3、利用Embedding Layer对输入的自然语言做embedding嵌入，作为网络的第一层 4、训练网络模型，更新第3步输入的权重

PyTorch词嵌入的函数介绍

torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weight=None, device=None, dtype=None)

• num_embeddings: 构建语料库字典的大小
• embedding_dim: 每个词向要编码成向量的长度
• padding_idx: 输出遇到此下标时用0填充(非必要参数)
• max_norm：对词嵌入进行归一化，使他们的范数小于max_norm(非必要参数)
• norm_type: max_norm在计算范数时的范数类型，如：可以选择1范数，2范数
• scale_grad_by_freq：将通过小批量中单词频率的倒数来缩放梯度。这里的词频是指输入的句子。
• sparse：如果为True，则与权重矩阵相关的梯度转变为稀疏张量。这里的稀疏张量是指方向传播的时候只更新当前使用此的权重矩阵，加快更新速度。这里和word2vec的负采样有相似之处

PyTorch词嵌入的应用举例

与制作 one-hot 向量时对每个单词定义一个特殊的索引类似，当我们使用词向量时也需要为每个单词定义一个索引。这些索引将是查询表的关键点。词嵌入被被存储在一个$|V|* D$的向量中，其中$D$是词嵌入的维度。词被分配的索引$i$，表示在向量的第$i$行存储它的嵌入。在下面代码中，从单词到索引的映射是一个叫 word_to_ix 的字典。

另外，需要注意的是，索引这张表时，你必须使用torch.LongTensor（因为索引是整数，不是浮点数）。

import torch
import torch.nn as nn

torch.manual_seed(1)

word_to_ix = {"hello": 0, "world": 1}
embeds = nn.Embedding(2, 5)  # 2 words in vocab, 5 dimensional embeddings
lookup_tensor = torch.tensor([word_to_ix["hello"]], dtype=torch.long)
hello_embed = embeds(lookup_tensor)
print(hello_embed)

输出结果为：

tensor([[ 0.6614,  0.2669,  0.0617,  0.6213, -0.4519]],
       grad_fn=<EmbeddingBackward0>)

---