Adam相关面试题

9.1、Adam简介

Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在 2015 年 ICLR 论文（Adam: A Method for Stochastic Optimization）中提出的。该算法名为「Adam」，其并不是首字母缩写，也不是人名，它的名称来源于适应性矩估计（adaptive moment estimation）。

9.2、Adam优点介绍

在 Adam 提出之前，人们已经在使用像 Momentum 和 RMSProp 这样的优化算法来加速深度神经网络的训练过程。然而，这些算法各有优势和局限。Momentum 善于处理梯度的方向和大小，而 RMSProp 善于调整学习率以应对数据的稀疏性。Adam 的提出是为了结合这两种算法的优点，同时减少它们的缺点，提供一种更加鲁棒的优化解决方案。

9.3、Adam内部参数

Adam优化器在构建完成后，具备一个param_groups列表，这个列表包含了哪些变量需要更新，这些变量更新的学习率如何，这个属性列表可通过param_groups()方法获取。param_groups()方法返回一个list列表，它的每个元素都是一组独立的参数，以dict的方式进行存储，结构参见下图：

-param_groups    
    -0(dict)  # 第一组参数        
        params:        # 维护要更新的参数        
        lr:            # 该组参数的学习率               
        weight_decay:  # 该组参数的权重衰减系数     
    -1(dict)  # 第二组参数    
    -2(dict)  # 第三组参数    
    ...

class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.nn1 = nn.Linear(2, 3)
        self.nn2 = nn.Linear(3, 6)

    def forward(self, x):
        x = F.relu(self.nn1(x))
        return F.relu(self.nn2(x))

model = MyModel()

optimizer_Adam = torch.optim.Adam(model.parameters(), lr=0.1)

print(optimizer_Adam.param_groups())

结果为：

[
    {

        "params":   [Parameter containing:tensor([[-0.0386,  0.3979],
                            [ 0.2451, -0.5477],
                            [ 0.2848, -0.6663]], requires_grad=True),
                    Parameter containing:tensor([-0.6260,  0.6027,  0.0412], requires_grad=True), 
                    Parameter containing:tensor([[-0.2931, -0.3993,  0.1601],
                            [ 0.1608,  0.1821,  0.4538],
                            [ 0.3516, -0.4239, -0.5256],
                            [ 0.4598,  0.1838, -0.4019],
                            [-0.4469,  0.4455,  0.1316],
                            [-0.1232,  0.3769, -0.1184]], requires_grad=True),
                    Parameter containing:tensor([ 0.1404, -0.0542, -0.0085,  0.0995,  0.3741, -0.0223],requires_grad=True)], 
       "lr": 0.1, 
       "betas": (0.9, 0.999), 
       "eps": 1e-08, 
       "weight_decay": 0, 
       "amsgrad": False, 
       "maximize": False, 
       "foreach": None, 
       "capturable": False, 
       "differentiable": False, 
       "fused": None

    }

]

9.4、Adam高级用法

略