实践·pytorch梯度计算

pytorch梯度机制，计算梯度注意事项

pytorch，autograd，tensor，自动微分，张量，梯度

  在一些优化算法中，常常需要计算函数的梯度，在pytorch可以借助autograd机制来自动计算梯度值。

  假设 ，关于 的梯度记为 ， 是关于变量 的函数，其梯度 是随着 的值变化而变化的，决定梯度的除了 自身的值以外还有施加在 上的运算。因此，关注梯度就是关注两个东西，求哪个 变量 的梯度，该变量上被施加了哪种 运算 。

  首先看 变量 ：在pytorch中把梯度作为一个固有属性结合进张量(tensor)，任何一个tensor类型的变量都有梯度(grad)属性，再结合一般场景下的需要，pytorch把 tensor 类型定义为一个对象，包括5个属性，分别对应 data （变量本身的值）， grad （梯度值）， requires_grad （是否需要梯度，很多场景都不需要求变量的微分）， grad_fn （生成该变量结果的运算，即这个值通过什么运算来的）， is_leaf （是否叶子节点，叶子才帮你算梯度）。

  接着看 运算 ：在pytorch中没有显式的给出梯度函数表达，而是算出梯度值，存放在tensor类型变量的grad属性中，那么运算也一样用结果来表达，假设 ，这里的 就承载了运算的结果，因此需要求 的梯度值时就对 使用 backward() 方法来计算 的梯度。

  上面提到计算梯度的两个要素： 变量 和 运算 ，对应的pytorch机制是 tensor 对象和 backward 方法。因此计算梯度就是学会怎么用这俩货。具体的例子这边不写，各位大神写的很多了，不当搬运工了，推荐 参考资料3 ， 参考资料2 。这里说明两点，然后总结个过程。

  （1）可求梯度的条件

  从上面的叙述知道，一个变量有5个属性，要求这个变量可以求梯度，需要满足2个属性为真，requires_grad=True，is_leaf=True。在声明变量的时候声明requires_grad=True就可以了。在实践过程中如果发现梯度没法计算，要查一下这两个属性。

  （2）回传结果类型

  大部分情况是对标量求梯度，也是在 中， 是标量的情况，如果 向量或矩阵，也可以求梯度，此时本质上也是按分量一个一个来，因此要给backward()加个参数，一般情况下该参数的形状和 一样，每一个位置的值指示每个分量的梯度权重，多数情况就是全部设置为1。

  （3）一般过程

  仍然假设求 的关于 的梯度，首先设置声明tensor类型变量 ，声明的时候需要设置参数requires_grad=True；接下来计算出 ，这里的 是用来表示函数运算过程，最后使用 ，如果 非标量，就加个参数，假设为 ， 的形状与 相同，此时使用的是 ，要的梯度值可以通过 获得。

  单独写个注意事项，计算变量 的梯度时， 的属性有可能会变化，比如需要对 进行迭代，假设为 ，那么 的requires_grad和is_leaf属性会变化，变得不可求梯度，那怎么办呢，其实程序迭代时只需要改变值就好了，使用 就可以了。

[1] >

速度梯度，指流体在两界面之间流动时，由于材料之间摩擦力的存在，使流体内部与流体和界面接触处的流动速度发生差别，产生一个渐变的速度场，称为速度梯度，或称切速率、剪切速率。

速度梯度公式:

式中速度梯度L是二阶张量；表示把相对变形梯度Ft(τ)对τ进行一次微分并令τ=t；Δ是梯度算符；v是速度。把速度梯度进行加法分解，则L=D+W,  式中D和W为L的对称部分和反称部分，它们分别称为变形速率张量和转动速率张量。

扩展资料：

流体在两界面之间流动时，不仅仅是速度梯度的单变量，更主要的是牛顿流体。

牛顿流体：是指在任意小的外力作用下即能流动的流体，并且流动的速度梯度(D)与所加的切应力(τ)的大小成正比，这种流体就叫做牛顿流体。

牛顿流体的流变方程是：τ＝ηD 式中：τ--所加的切应力； D--流动速度梯度； η--不依赖于切变速度的常数，叫做黏性系数，简称为黏度。

凡不同于牛顿流体的都称为非牛顿流体。

参考资料来源：百度百科-速度梯度

根据公式f(y)=∫Rf(x，y)dx。二维正态分布的密度函数梯度的计算是可以根据公式f(y)=∫Rf(x，y)dx来计算的。二维正态分布，又名二维高斯分布，是一个在数学、物理及工程等领域都非常重要的概率分布。

grad梯度算法如下图所示：

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

扩展资料

在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。

在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。

梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和所研究的方向的点积来得到斜度。

梯度的数值有时也被称为梯度。

参考资料来源：百度百科-梯度

举个例子
syms x y z
f=x^2+xy+z;
gradient=jacobian(f,[x,y,z])%求梯度
%gradient =
%[ 2x + y, x, 1]
x=-1;y=2;z=3;
tiduzhi=eval(gradient) %求在（-1，2，3）的梯度值
%
%tiduzhi =
%
% 0 -1 1
对于补充的问题，那就没什么函数，你直接用diff求微分算了
gradient=[diff(f,x),diff(f,y),diff(f,z)]

1、当函数 z=f(x,y) 在 (x0,y0)的两个偏导数 f'x(x0,y0) 与 f'y(x0,y0)都存在时，称 f(x,y) 在 (x0,y0)处可导。如果函数 f(x,y) 在域 D 的每一点均可导，那么称函数 f(x,y) 在域 D 可导。

此时，对应于域 D 的每一点 (x,y) ，必有一个对 x (对 y )的偏导数，因而在域 D 确定了一个新的二元函数，称为 f(x,y) 对 x (对 y )的偏导函数。

方向导数和梯度计算方法如下图：

扩展资料：

偏导数 f'x(x0,y0) 表示固定面上一点对 x 轴的切线斜率；偏导数 f'y(x0,y0) 表示固定面上一点对 y 轴的切线斜率。

高阶偏导数：如果二元函数 z=f(x,y) 的偏导数 f'x(x,y) 与 f'y(x,y) 仍然可导，那么这两个偏导函数的偏导数称为 z=f(x,y) 的二阶偏导数。二元函数的二阶偏导数有四个：f"xx，f"xy，f"yx，f"yy。

f"xy与f"yx的区别在于：前者是先对 x 求偏导，然后将所得的偏导函数再对 y 求偏导；后者是先对 y 求偏导再对 x 求偏导。当 f"xy 与 f"yx 都连续时，求导的结果与先后次序无关。

---