多变量梯度下降

Hypothesis: hθ(x)=θTx=θ0+θ1x1+θ2x2+...+θnxn

参数(Parameters): θ1,θ2,θ3,...,θn

可以用Θ向量表示上面的一系列值 

损失函数(Cost function): J(θ1,θ2,θ3,...,θn)=12mi=1m(hθ(x(i))y(i))2

当用Θ表示时,损失函数:J(Θ)=12mi=1m(hθ(x(i))y(i))2


 

梯度下降算法表示为:

重复(repeat){

θj:=θjαθjJ(θ1,θ2,θ3,...,θn)  (simultaneously update for every j = 0,...,n)

如果用Θ表示 θj:=θjαθjJ(Θ) (对于 j = 0,...,n,同时更新)

}


 

现在看以下部分怎么算 θjJ(θ1,θ2,θ3,...,θn) 

当n=1时

算法为:

repeat {

θ0:=θ0α1mi=1m(hθ(x(i))y(i))θ0J(θ)

θ1:=θ1α1mi=1m(hθ(x(i))y(i))x(i)

(simultaneously update θ0, θ1)

}

当n>=1时

算法为:

repeat {

θj:=θjα1mi=1m(hθ(x(i))y(i))xj(i)

(simultaneously update θj for j = 0,..., n)

}

posted @   qkloveslife  阅读(840)  评论(0编辑  收藏  举报
编辑推荐:
· Brainfly: 用 C# 类型系统构建 Brainfuck 编译器
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
阅读排行:
· DeepSeek 全面指南,95% 的人都不知道的9个技巧(建议收藏)
· Tinyfox 发生重大改版
· 对比使用DeepSeek与文新一言,了解DeepSeek的关键技术论文
· Brainfly: 用 C# 类型系统构建 Brainfuck 编译器
· DeepSeekV3+Roo Code,智能编码好助手
点击右上角即可分享
微信分享提示