【Pytorch基础】基础点整理4

一、激活函数

# sigmoid函数

---

from torch.nn import functional as F
a = torch.linspace(-100,100,12)

print(torch.sigmoid(a))
# F.sigmoid(a)

# tensor([0.0000e+00, 2.9296e-36, 2.3072e-28, 1.8169e-20, 1.4309e-12, 1.1267e-04,
#         9.9989e-01, 1.0000e+00, 1.0000e+00, 1.0000e+00, 1.0000e+00, 1.0000e+00])

# tanh函数

a = torch.linspace(-1,1,12)
print(torch.tanh(a))

# tensor([-0.7616, -0.6741, -0.5624, -0.4256, -0.2662, -0.0907,  0.0907,  0.2662,
#          0.4256,  0.5624,  0.6741,  0.7616])

# relu函数

print(torch.relu(a))

# tensor([0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0000, 0.0909, 0.2727, 0.4545,
#         0.6364, 0.8182, 1.0000])

二、Loss

MSE 均方差 

Grad函数求导

或者直接用mse.backward()        自动计算导数并且更新到反向传播中

查看的时候可以直接w.grad    也可以w.grad.norm查看较大的导数的norm

 

 多输出感知机

链式求导法则