第五周 第二部分

 

 

 

 

 

 

 

 

 

 

 

 

Theta1,2,3 和D1,2,3都是系数矩阵

 

 

 

thetaVec = [Theta1(:); Theta2(:);Theta3(:) ];  里面:外面; 会把Theta1 ,Theta2,Theta3中的所有元素展开,形成一个向量thetaVec

reshape 会把向量在恢复到矩阵Theta1,2,3

 

 

 

梯度检验

 

 

 

 

 

 

 

 

 

0初始化是不可取的

 

 

 

 

 

  没有打破对称

 

 

 

 

 在计算伪随机数时,若使用的初值(种子)不变,那么伪随机数的数序也不变

随意初始化,打破对称

 

 

 

 

 

 

 

 

 

一般,隐藏单元的数目稍大于输入单元数目

 

 

 

 

 

 

梯度下降和其他的一些高级算法理论上都可以收敛与局部最小值,可能不是全局最小值
J(theta)是一个非凸函数,理论上能够停留在局部最小值的位置。

 

 

 

 

 

 

 

 

 

 

 

 

posted on   cltt  阅读(189)  评论(0编辑  收藏  举报

编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列01:轻松3步本地部署deepseek,普通电脑可用
· 25岁的心里话
· 按钮权限的设计及实现
历史上的今天:
2018-12-28 二进制减法
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示