Processing math: 14%
会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Thaurun
算法、图像模式识别与人工智能
首页
新随笔
管理
随笔 - 11
文章 - 1
评论 - 31
阅读 -
12万
2017年9月23日
L1正则化及其推导
摘要: 在机器学习的Loss函数中,通常会添加一些正则化(正则化与一些贝叶斯先验本质上是一致的,比如L2L2正则化与高斯先验是一致的、L1L1正则化与拉普拉斯先验是一致的等等,在这里就不展开讨论)来降低模型的结构风险,这样可以使降低模型复杂度、防止参数过大等。大部分的课本和博客都是直接给出了L1L1正则化的解释解或者几何说明来得到L1L1正则化会使参数稀疏化,本来会给出详细的推导。
阅读全文
posted @ 2017-09-23 21:14 Thaurun
阅读(22814)
评论(12)
推荐(5)
编辑
公告
昵称:
Thaurun
园龄:
7年6个月
粉丝:
31
关注:
1
+加关注
<
2025年1月
>
日
一
二
三
四
五
六
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
7
8
最新随笔
1.MobileNets总结
2.ShuffleNet总结
3.MXNet之ps-lite及parameter server原理
4.Laplace(拉普拉斯)先验与L1正则化
5.用MXNet实现mnist的生成对抗网络(GAN)
6.MXNet--DMLC-Core代码解读与宏
7.mxnet的训练过程——从python到C++
8.L1正则化及其推导
9.mshadow的原理--MXNet
10.A-Softmax的总结及与L-Softmax的对比——SphereFace
我的标签
MXNet
(5)
人工智能
(5)
L1正则化
(2)
C++
(2)
机器学习
(2)
ShuffleNet
(1)
ps-lite
(1)
parameter sever
(1)
mshadow
(1)
MobileNets
(1)
更多
随笔档案
(11)
2017年12月(2)
2017年11月(1)
2017年10月(2)
2017年9月(6)
阅读排行榜
1. A-Softmax的总结及与L-Softmax的对比——SphereFace(29351)
2. L1正则化及其推导(22814)
3. Laplace(拉普拉斯)先验与L1正则化(22750)
4. MXNet之ps-lite及parameter server原理(13017)
5. ShuffleNet总结(12395)
评论排行榜
1. L1正则化及其推导(12)
2. Laplace(拉普拉斯)先验与L1正则化(5)
3. mxnet的训练过程——从python到C++(4)
4. mshadow的原理--MXNet(4)
5. 用MXNet实现mnist的生成对抗网络(GAN)(2)
最新评论
1. Re:Laplace(拉普拉斯)先验与L1正则化
式子1.4 第一行
\epsilon
应该改成
\delta
,第二行+应该是-吧
--earlzz
2. Re:L1正则化及其推导
您好,请问,“为了得到更直观的解,我们简化H,使得H为对角矩阵。” 这个怎么理解呢?
--土豆_potato
3. Re:L1正则化及其推导
写得不错,两个小错误有时间看到修下一下~1. "
sign(w_i)=sign(w^∗_i)或w_1=0
" 和 "这时有
w_1=0
" 的
w
下标应该都是
i
而不是
1
?2. 正如您的进一步...
--L,wang
4. Re:MXNet之ps-lite及parameter server原理
竟然看懂了,大爽
--Melanie_d
5. Re:用MXNet实现mnist的生成对抗网络(GAN)
@ wuye这个mxnet版本应该是1.0.0的,新的版本都有。这个GAN的原代码其实也在mxnet官方给上的样例上。...
--Thaurun
点击右上角即可分享