深度学习Keras框架笔记之激活函数详解
激活函数也是神经网络中一个很重的部分。每一层的网络输出都要经过激活函数。比较常用的有linear,sigmoid,tanh,softmax等。Keras内置提供了很全的激活函数,包括像LeakyReLU和PReLU这种比较新的激活函数。
一、激活函数的使用
常用的方法在Activation层中可以找到。看代码。
1 2 3 | from keras.layers.core import Activation, Dense model.add(Dense( 64 )) model.add(Activation( 'tanh' )) |
等价于:
1 | model.add(Dense( 64 , activation = 'tanh' )) #此处’tanh’是一个字符串 |
我们也可以将一个Theano function作为激活函数传递给activation,如下:
1 2 3 4 | deftanh(x): return theano.tensor.tanh(x) model.add(Dense( 64 , activation = tanh)) #此处tanh是函数 model.add(Activation(tanh)) |
二、常用的激活函数
- softmax: 在多分类中常用的激活函数,是基于逻辑回归的。
- Softplus:softplus(x)=log(1+e^x),近似生物神经激活函数,最近出现的。
- Relu:近似生物神经激活函数,最近出现的。
- tanh:双曲正切激活函数,也是很常用的。
- sigmoid:S型曲线激活函数,最常用的。
- hard_sigmoid:基于S型激活函数。
- linear:线性激活函数,最简单的。
三、复杂的激活函数
更复杂的激活函数,可以在keras.layers.advanced_activations中找到。就是开始提到的PReLU和LeakyReLU。这两个函数都是在ReLU的基础之上进行改进的。从相关实验来看,这些函数具有更好的准确度,但是训练时间需要更长,因为计算更复杂。
Keras框架官方文档:https://keras.io/activations/
顺便再分享下自己的网站:圆柱模板,欢迎广大爱好者一起访问探讨!
千行代码,Bug何处藏。 纵使上线又怎样,朝令改,夕断肠。
分类:
Python开发笔记
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析