《PyTorch入门精华》

1 前言

1.1 PyTorch安装

1.2 显卡驱动的困惑

1.3 CUDA安装注意事项

1.4 cuDNN的介绍

1.5 Pytorch Lightning介绍

1.6 PyTorch学习之道

1.7 PyTorch快速入门

1.8 PyTorch调参之道

1.9 PyTorch调参套件

1.10 手动创建虚拟环境

2 深度学习之数学基础

2.1 希腊字母解读

2.2 梯度的物理意义

2.3 图解梯度下降法

2.4 图解梯度上升法

2.5 自然梯度

2.6 泰勒公式的介绍

2.7 信息与信息熵

2.8 重要性采样

2.9 高斯分布公式推导过程

2.10 欧几里得范数

2.11 特征值和特征向量

2.12 似然函数的理解

2.13 矩阵秩的深刻理解

3 PyTorch入门疑难点

3.1 PyTorch向量维度计数

3.2 PyTorch向量维度操作

3.3 PyTorch向量乱序取数

3.4 PyTorch向量广播介绍

3.5 PyTorch向量转置隐患

3.6 PyTorch向量变形操作

4 PyTorch全局设置

4.1 全局设置当前设备

4.2 全局设置浮点精度

4.3 设置控制台输出格式

5 PyTorch GPU分布式训练

5.1 PyTorch GPU基础操作

5.2 DataParallel用法详解

5.3 GPU分布式训练模型

5.4 CUDA_VISIBLE_DEVICES

5.5 device详细说明

5.6 to(device)和.cuda()

5.7 CUDA设备索引

5.8 GPU设备索引

6 向量的基础与核心

6.1 Tensor的组成与存储

6.2 Tensor的grad属性

6.3 Tensor内存布局的调整

6.4 Tensor的叠加

6.5 禁用梯度计算

6.6 向量的保存和加载

6.7 参数向量

6.8 叶子节点

6.9 detach原理

6.10 requires_grad属性

6.11 Tensor与Numpy互换

6.12 张量cat操作

6.13 零维张量

6.14 维度索引与维度变换

6.15 squeeze/unsqu...函数

6.16 argmax和max的区别

6.17 torch.as_tensor的应用

7 神经网络基础

7.1 线性网络的参数以及初始化

7.2 PyTorch计算图

7.3 查看网络权重参数

7.4 保存模型

7.5 Adam相关面试题

7.6 Train模式和Eval模式

7.7 线性网络

7.8 双线性网络

7.9 惰性线性层

7.10 PyTorch中的自动微分

7.11 自动求导与链式求导

7.12 Dropout机制

7.13 半精度训练

7.14 Xavier初始化

7.15 注意力机制

7.16 Dataset数据处理

7.17 StepLR学习率调度器

7.18 词嵌入的理解

7.19 TensorDataset的使用

7.20 模型的保存与加载

7.21 ModuleList和Sequential

7.22 Batch Normalization介绍

7.23 map_location参数的作用

8 计算机视觉基础知识

8.1 通道的深刻理解

8.2 1x1卷积的作用

8.3 特征提取和可视化

8.4 反卷积的推导

8.5 理解卷积

8.6 计算机视觉的注意力机制

8.7 空洞卷积

8.8 池化层的作用

8.9 感受野与特征图

8.10 NMS算法

8.11 特征图尺寸计算

9 循环神经网络基础

9.1 梯度消失或梯度爆炸

9.2 RNN的介绍

9.3 PyTorch LSTM 使用介绍

10 注意力机制

10.1 位置编码的作用

10.2 位置编码的种类

10.3 词嵌入的原理和用法

10.4 Embedding本质理解

10.5 自注意力与卷积神经网络

10.6 Transformer VS CNN/RNN

10.7 ELMo介绍

11 PyTorch归一化

11.1 归一化层的作用与类型

11.2 层归一化技术详解

11.3 均方根归一化技术详解

12 激活函数相关内容

12.1 激活函数简介

12.2 万能逼近定理

12.3 指数函数的学习

12.4 Sigmoid函数的介绍

12.5 Tanh函数的介绍

12.6 Softmax函数的实现

12.7 ReLU函数的介绍

12.8 Leaky Relu函数的介绍

12.9 ReLu与非线性的理解

12.10 Parametric ReLU函数

12.11 ELU函数介绍

12.12 神经元死亡的问题

13 思考题的答案

13.1 思考题的答案解密

PyTorch安装

创建时间：2024-09-25 更新时间：2026-08-07 阅读次数：3078 次

提示：

当前PyTorch的最新版本是：PyTorch 2.8.0。

安装PyTorch 2.8.0需要的条件是：需要Python 3.9或者更高版本。

1、PyTorch安装

PyTorch安装分为两种方式：pip安装和whl安装。下面分别给大家介绍一下。

2、PyTorch pip安装

PyTorch的安装分为CPU版本和GPU版本，其安装命令如下所示：

（1）PyTorch 2.8.0 CPU版本的安装：

pip3 install torch torchvision torchaudio

（2）PyTorch 2.8.0 CUDA 12.6版本的安装：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

（3）PyTorch 2.8.0 CUDA 12.8版本的安装：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128

（4）PyTorch 2.8.0 CUDA 12.9版本的安装：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu129

补充说明1：CUDA安装请移步：CUDA安装注意事项：CUDA的驱动版本和运行版本

3、PyTorch whl安装

（1）whl文件简介

whl格式本质上是一个压缩包，里面包含了py文件，以及经过编译的pyd文件。安装whl文件很简单，先下载whl文件，然后进入命令行，输入以下命令即可：pip install xxxx.whl

（2）PyTorch whl安装的必要性

当我们需要安装特定CUDA版本的PytTorch的时候，掌握whl文件的安装则是十分必要。

（3）PyTorch whl文件下载

PyTorch whl文件的下载地址：whl文件的下载

由于下载地址里面包含了太多的whl文件，让人眼花缭乱，常用的GPU版本的PyTorch文件如下所示：

CUDA 11.8版本的PyTorch文件请进入这个目录下面：CUDA 11.8文件下载
CUDA 12.4版本的PyTorch文件请进入这个目录下面：CUDA 12.4文件下载
CUDA 12.6版本的PyTorch文件请进入这个目录下面：CUDA 12.6文件下载
CUDA 12.8版本的PyTorch文件请进入这个目录下面：CUDA 12.8文件下载
CUDA 12.9版本的PyTorch文件请进入这个目录下面：CUDA 12.9文件下载

_{本教程共117节，当前为第1节!}
_{本教程最新修订时间为：2026-08-07 09:17:18}

✨ 复制成功！

以文会友，打造好学人设！

PyTorch安装

1、PyTorch安装

2、PyTorch pip安装

3、PyTorch whl安装