惠州做企业网站的,怎样与其它网站做友情链接,58同城西安网站建设,服务类网站模板激活函数总结#xff08;十七#xff09;#xff1a;激活函数补充 1 引言2 激活函数2.1 Parametric Exponential Linear Unit#xff08;PELU#xff09;激活函数2.2 Phish激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、… 激活函数总结十七激活函数补充 1 引言2 激活函数2.1 Parametric Exponential Linear UnitPELU激活函数2.2 Phish激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU)。在这篇文章中会接着上文提到的众多激活函数继续进行介绍给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图
2 激活函数
2.1 Parametric Exponential Linear UnitPELU激活函数
Parametric Exponential Linear UnitPELU是一种 Exponential Linear UnitELU的变种激活函数它引入了可学习的参数允许网络自适应地调整激活函数的形状。其数学表达式为和数学图像分别如下所示 f a , b ( x ) { a ( e x b − 1 ) , for x 0 a b x , for 0 ≤ x f_{a,b}(x) \begin{cases} a(e^{\frac{x}{b}} - 1), \text{for } x 0 \\ \frac{a}{b}x, \text{for } 0 \leq x \\ \end{cases} fa,b(x){a(ebx−1),bax,for x0for 0≤x 优点
非线性特性 PELU 引入了非线性特性使得网络能够更好地适应数据中的复杂模式。可学习参数 PELU 允许学习参数这意味着网络可以根据数据和任务需求自适应地调整激活函数的形状。避免梯度消失 对于负的输入PELU 引入了指数项这有助于在一些情况下避免梯度消失问题。平滑性 PELU 在负的输入范围内是平滑的这有助于梯度计算和反向传播的稳定性。
缺点
计算复杂性 相对于一些简单的激活函数如 ReLU而言PELU 的计算复杂性较高尤其是因为它涉及指数计算。参数选择 学习参数需要额外的调整和调优这可能需要更多的实验。
需要注意的是PELU 激活函数可以作为一种探索性尝试具有自适应形状的特点可能对某些问题有益。然而在使用之前您应该仔细考虑其优点和缺点并在实验中评估其在具体任务和数据上的性能。
2.2 Phish激活函数
论文链接Phish: A Novel Hyper-Optimizable Activation Function
Phish 是一种新颖的激活函数。它是一个GELU和TanH的复合函数其数学表达式为和数学图像分别如下所示 f ( x ) x ∗ T a n H ( G E L U ( x ) ) f(x) x*TanH(GELU(x)) f(x)x∗TanH(GELU(x)) 优点
连续可微在观察到的域上的微分图中没有明显的不连续性新颖该激活函数是2022年提出的有效性实验结果表明Phish激活函数具有较好的效果。
缺点
缺乏验证虽然论文中说明具有较好效果但是未经过广泛验证
虽然该算法在论文中呈现出较好的效果但是当前仍未经过有效验证。。。。
3. 总结
到此使用 激活函数总结十七 已经介绍完毕了 如果有什么疑问欢迎在评论区提出对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出后续会对其进行添加
如果觉得这篇文章对你有用记得点赞、收藏并分享给你的小伙伴们哦。
