激活函数

激活函数(Activation Function)是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式;激活函数最终决定了要发射给下一个神经元的内容。

在人工神经网络中,一个节点的激活函数定义了该节点在给定的输入或输入集合下的输出.

======>>>>>

(1)Sigmoid 函数

 

 

 

 在什么情况下适合使用 Sigmoid 激活函数

    • Sigmoid 函数的输出范围是 0 到 1。由于输出值限定在 0 到 1,因此它对每个神经元的输出进行了归一化;

    • 用于将预测概率作为输出的模型。由于概率的取值范围是 0 到 1,因此 Sigmoid 函数非常合适;

    • 梯度平滑,避免「跳跃」的输出值;

    • 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率;

    • 明确的预测,即非常接近 1 或 0。

(2). Tanh / 双曲正切激活函数

 

 

 

(3.) ReLU 激活函数

 

 

 

 (4). Leaky ReLU

 

 

【注】:

  1. Leaky ReLU 通过把 x 的非常小的线性分量给予负输入(0.01x)来调整负值的零梯度(zero gradients)问题;

  2. leak 有助于扩大 ReLU 函数的范围,通常 a 的值为 0.01 左右;

  3. Leaky ReLU 的函数范围是(负无穷到正无穷)。

(5). ELU 

 

 

 

 (6). PReLU(Parametric ReLU)

 

 

 

 

 

( 7). Softmax

 

 

 (8). Swish

 

y = x * sigmoid (x)

(9) Maxout

 

 

 (10). Softplus

 

 Softplus 函数:f(x)= ln(1 + exp x)
Softplus 的导数为
f ′(x)=exp(x) / ( 1+exp⁡ x )
= 1/ (1 +exp(−x ))

posted @   KLAPT  阅读(290)  评论(0编辑  收藏  举报
编辑推荐:
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
阅读排行:
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
点击右上角即可分享
微信分享提示