会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
奋斗的小仔
博客园
首页
新随笔
联系
订阅
管理
2021年8月11日
PyTorch笔记--Softmax函数求导
摘要: softmax是非线性激活函数的一种。它将神经元的输出变换到(0,1)的区间内。 需要注意的是对应的是分子中的指数项,而与分母是无关的。 下面对进行求导, 这里分为两种情况。 j==i 另一种情况是 j!=i 就是要注意对求导时,S的分子的指数项哪一项,刚好是还是别的项,这将直接影响求导的最终结果。
阅读全文
posted @ 2021-08-11 13:09 奋斗的小仔
阅读(891)
评论(0)
推荐(0)
编辑
公告