梯度下降 coursera.org

即使J（，）=0,也不能是完美估计，因为其他数据可能存在误差

 

 

 

 

 取任何颜色并沿着“圆”走，就可以得到相同的成本函数值,右图三个点的J（，）相同

 

 

 

越靠近圆心，J(,)越小

 

梯度下降算法可以将代价函数J（）最小化 。
J（1,2）改变1,2来最小化J（1,2） 梯度下降算法不一定可以找到全局最小值

 

 

事实证明用于线性回归的代价函数，总是下图所示的这样一个弓形的样子。 对于线性回归的代价函数是没有局部最优解的，只有全局最优解

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 矩阵的维度：行数×列数

 

 

 

矩阵运算
矩阵和标量相加 ： 矩阵里的每个 元素都要加上 这个标量 
将表达式转化为矩阵运算

 

 

 

 

 

矩阵乘法的一些特性：不满足交换率，但是满足结合律

 

 

 

 

 

关于逆矩阵的定义 我需要强调一点 首先 矩阵必须是方阵

 

 

转置矩阵：行列转置。第一行变为第一列，...，第M行变为第M列