
饱和函数应该是说输入达到一定的值以后,输出就不再变化了,饱和了。它有固定公式,一般是分段函数。
例子:
亲,如果有别的疑问请及时提出,如果满意请帮忙采纳噢~~
参考链接: 饱和和非饱和激活函数
右饱和:
当 x 趋向于正无穷大时,导数值趋近于 0
左饱和:
当 x 趋向于负无穷大,导数值趋近于 0
饱和激活函数:当满足右饱和和左饱和时,称作饱和激活函数,分别有 Sigmoid 和 tanh
非饱和激活函数:只满足右饱和或左饱和中的一个,或都不满足,则称作非饱和激活函数,有 ReLU 及其他的变种
非饱和激活函数的优点:
1、解决梯度消失的问题,以 ReLU 为例,当 x 小于等于 0 时,ReLU 的梯度为 0,但是当 x 大于 0 时,ReLU 的梯度恒为 1,这样即使是 N 层的梯度相乘,也还是 1,即不会产生梯度消失问题
2、加快收敛速度,同样以 ReLU 为例,由于在训练的过程中 ReLU 产生的梯度不会越来越小,因此有利于网络更快地收敛
看你用什么型号的DSP,有的型号可以设置运算的标志位,通过加法指令后直接完成饱和预算。还可以通过浮点转定点完成取整的指令 *** 作。如果是C,那就更简单了,可以直接调用math的运算库函数哈。欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)