会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
未雨愁眸
tensorflow群469331966
博客园
::
首页
::
新随笔
::
联系
::
订阅
::
管理
公告
参数的范数正则/惩罚(parameter norm penalties)
1. L2 范数
J
~
(
w
;
X
,
y
)
=
J
(
w
;
X
,
y
)
+
α
2
w
T
w
J
表示的是原始的目标函数,
J
~
则是二范数约束后的新的目标函数。
则根据梯度下降算法有:
∇
w
J
~
=
∇
w
J
+
α
w
w
←
w
−
ϵ
∇
w
J
~
=
w
−
ϵ
(
∇
J
+
α
w
)
w
←
(
1
−
α
ϵ
)
w
−
ϵ
∇
J
posted on
2017-01-02 21:45
未雨愁眸
阅读(
592
) 评论(
0
)
编辑
收藏
举报
会员力量,点亮园子希望
刷新页面
返回顶部