《PyTorch面试精华》


1 前言
    1.1  PyTorch安装

    1.2  显卡驱动的困惑

    1.3  CUDA安装注意事项

    1.4  cuDNN的介绍

    1.5  Pytorch Lightning介绍

    1.6  PyTorch学习之道

    1.7  PyTorch快速入门

    1.8  PyTorch调参之道

    1.9  PyTorch调参套件

    1.10  手动创建虚拟环境

2 深度学习之数学基础
    2.1  希腊字母解读

    2.2  梯度的物理意义

    2.3  图解梯度下降法

    2.4  图解梯度上升法

    2.5  自然梯度

    2.6  泰勒公式的介绍

    2.7  信息与信息熵

    2.8  重要性采样

    2.10  欧几里得范数

    2.11  特征值和特征向量

    2.12  似然函数的理解

    2.13  矩阵秩的深刻理解

3 PyTorch入门疑难点
4 PyTorch全局设置
    4.1  全局设置当前设备

    4.2  全局设置浮点精度

5 PyTorch GPU分布式训练
    5.1  PyTorch GPU基础操作

    5.2  DataParallel用法详解

    5.3  GPU分布式训练模型

    5.4  CUDA_VISIBLE_DEVICES

    5.5  device详细说明

    5.6  to(device)和.cuda()

    5.7  CUDA设备索引

    5.8  GPU设备索引

6 向量的基础与核心
    6.1  Tensor的组成与存储

    6.2  Tensor的grad属性

    6.4  Tensor的叠加

    6.5  禁用梯度计算

    6.6  向量的保存和加载

    6.7  参数向量

    6.8  叶子节点

    6.9  detach原理

    6.10  requires_grad属性

    6.11  Tensor与Numpy互换

    6.12  张量cat操作

    6.13  零维张量

    6.15  squeeze/unsqu...函数

    6.16  argmax和max的区别

    6.17  torch.as_tensor的应用

7 神经网络基础
    7.2  PyTorch计算图

    7.3  查看网络权重参数

    7.4  保存模型

    7.5  Adam相关面试题

    7.6  Train模式和Eval模式

    7.7  线性网络

    7.8  双线性网络

    7.9  惰性线性层

    7.10  PyTorch中的自动微分

    7.12  Dropout机制

    7.13  半精度训练

    7.14  Xavier初始化

    7.15  注意力机制

    7.16  Dataset数据处理

    7.17  StepLR学习率调度器

    7.18  词嵌入的理解

    7.19  TensorDataset的使用

    7.20  模型的保存与加载

    7.21  ModuleList和Sequential

    7.22  Batch Normalization介绍

8 计算机视觉基础知识
    8.1  通道的深刻理解

    8.2  1x1卷积的作用

    8.3  特征提取和可视化

    8.4  反卷积的推导

    8.5  理解卷积

    8.7  空洞卷积

    8.8  池化层的作用

    8.9  感受野与特征图

    8.10  NMS算法

    8.11  特征图尺寸计算

9 循环神经网络基础
    9.2  RNN的介绍

10 注意力机制
    10.1  位置编码的作用

    10.2  位置编码的种类

    10.4  Embedding本质理解

    10.6  Transformer VS CNN/RNN

    10.7  ELMo介绍

11 PyTorch归一化
    11.2  层归一化技术详解

12 激活函数相关内容
    12.1  激活函数简介

    12.2  万能逼近定理

    12.3  指数函数的学习

    12.4  Sigmoid函数的介绍

    12.5  Tanh函数的介绍

    12.6  Softmax函数的实现

    12.7  ReLU函数的介绍

    12.8  Leaky Relu函数的介绍

    12.9  ReLu与非线性的理解

    12.10  Parametric ReLU函数

    12.11  ELU函数介绍

    12.12  神经元死亡的问题

13 思考题的答案
    13.1  思考题的答案解密

Tensor的组成与存储

创建时间:2024-09-04 更新时间:2024-09-09 阅读次数:2183 次

1、PyTorch的Tensor由两部分组成,分别是什么?

PyTorch中的一个tensor分为头信息区(Tensor)和存储区(Storage)两部分。

头信息区主要保存着tensor的形状(size)、步长(stride)、数据类型(type)等信息,而真正的数据则保存成连续数组,存储在存储区。

一般情况下,一个tensor都会有相对应的Storage,但有时候多个tensor都对应着相同的一个Storage,这几个tensor只是头信息区不同。

2、查看向量的步长(stride)

张量的步长(stride)是定义了在存储中每个维度的偏移量,以便找到下一个元素。具体来说,步长指定了在存储中移动指针时应该跨过的字节数。步长是一个元组,其中每个元素对应于张量的一个维度。步长的长度与张量的维度数相同。为了更好地理解步长的概念和功能,让我们通过一些示例来说明。假设我们有一个形状为(2, 3, 4)的三维张量tensor,并且通过以下代码创建和初始化它:

import torch

tensor = torch.zeros(2, 3, 4)

print(tensor.stride())

现在我们可以查看张量的步长,在PyTorch中可以使用stride()方法来实现,结果为:

(12, 4, 1)

表示在存储中移动指针时,每个维度需要跨越的字节数。 我们可以看到,在这个示例中,第一个维度需要跨越12个字节才能找到下一个元素,第二个维度需要跨越4个字节,而第三个维度只需要跨越1个字节。这是因为在内存中,张量中的元素是以连续的方式排列的,所以根据张量的尺寸和数据类型,PyTorch会自动计算合适的步长。

3、修改向量的步长(stride)

除了查看张量的步长,我们还可以通过修改步长来改变张量的存储方式。 PyTorch提供了as_strided()函数来实现这一点。

torch.as_strided(input, size, stride, storage_offset=0)—>Tensor

此方法是根据现有tensor以及给定的步长来创建一个视图(类型仍然为tensor)。视图是指创建一个方便查看的东西,与原数据共享内存,它并不占用内存,也不存储数据,只是将原有的数据进行整理,显示其中部分内容或者进行重排序后显示出来等等。

接下来介绍各个参数:

  • input:此参数指定了在哪个数据上创建视图,input需为tensor。

  • size:指定了生成的视图的大小,需要为一个矩阵(当然此矩阵大小可以大于原矩阵,但是也有限制),可以是tensor或者list等等。

  • stride:输出tensor的步长,根据原矩阵和步长生成了新矩阵,此参数后面会细讲。

  • storage_offset:输出张量的基础存储中的偏移量。

考虑以下示例,我们有一个(2, 3)的二维张量tensor2,并且通过以下代码创建和初始化它:

tensor2 = torch.zeros(2, 3)

我们可以使用as_strided()函数来修改tensor2的步长,如下所示:

new_tensor = torch.as_strided(tensor2, (2, 6), (3, 1))

在这个示例中,我们将tensor2的步长设定为(3, 1),这将导致新张量new_tensor在存储中跳过一些元素。具体来说,对于new_tensor中的每个元素,我们需要跳过3个字节才能到达下一个元素,而不是原始tensor2中的1个字节。

本教程共117节,当前为第41节!
本教程最新修订时间为:2026-05-08 11:10:53