什么是饱和函数?饱和函数有固定的公式吗?

什么是饱和函数?饱和函数有固定的公式吗?,第1张

饱和函数应该是说输入达到一定的值以后,输出就不再变化了,饱和了。它有固定公式,一般是分段函数。

例子:

亲,如果有别的疑问请及时提出,如果满意请帮忙采纳噢~~

参考链接: 饱和和非饱和激活函数

右饱和:

当 x 趋向于正无穷大时,导数值趋近于 0

左饱和:

当 x 趋向于负无穷大,导数值趋近于 0

饱和激活函数:当满足右饱和和左饱和时,称作饱和激活函数,分别有 Sigmoid 和 tanh 

非饱和激活函数:只满足右饱和或左饱和中的一个,或都不满足,则称作非饱和激活函数,有 ReLU 及其他的变种

非饱和激活函数的优点:

1、解决梯度消失的问题,以 ReLU 为例,当 x 小于等于 0 时,ReLU 的梯度为 0,但是当 x 大于 0 时,ReLU 的梯度恒为 1,这样即使是 N 层的梯度相乘,也还是 1,即不会产生梯度消失问题

2、加快收敛速度,同样以 ReLU 为例,由于在训练的过程中 ReLU 产生的梯度不会越来越小,因此有利于网络更快地收敛

看你用什么型号的DSP,有的型号可以设置运算的标志位,通过加法指令后直接完成饱和预算。还可以通过浮点转定点完成取整的指令 *** 作。如果是C,那就更简单了,可以直接调用math的运算库函数哈。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/yw/11499750.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-16
下一篇2023-05-16

发表评论

登录后才能评论

评论列表(0条)

    保存