Pytorch学习笔记--常用函数总结3

Pytorch学习笔记--常用函数总结3 1--torch.optim.SGD()函数拓展

import torch

LEARNING_RATE = 0.01  # 梯度下降学习率
MOMENTUM = 0.9  # 冲量大小
WEIGHT_DECAY = 0.0005 # 权重衰减系数

optimizer = torch.optim.SGD(
    net.parameters(),
    lr = LEARNING_RATE,
    momentum = MOMENTUM,
    weight_decay = WEIGHT_DECAY,
    nesterov = True
    )

参数解释：lr表示学习率；momentum表示冲量因子；weight_decay表示权重衰减系数（将使用L2正则项）；nesterov表示使用Nesterov冲量；

常规梯度下降算法：​​​​​​​​​​​​​

l表示学习率； J(θ)表示损失函数；▽表示求梯度；

带momentum的梯度下降算法： 

 m表示冲量因子，l表示学习率；

基于Nesterov冲量的梯度下降算法：

带weight_decay的梯度下降算法：

主要作用是对损失函数增加L2正则项，强烈建议通过参考链接1了解L2正则化的作用，即如何避免过拟合，权重衰减通过参考链接2​​​​​​​理解。