一些知识点的初步理解_5(梯度下降,ing...)
摘要：梯度下降法又叫最速下降法，英文名为steepest descend method.估计搞研究的人应该经常听见这个算法吧，用来求解表达式最大或者最小值的，属于无约束优化问题。 首先我们应该清楚，一个多元函数的梯度方向是该函数值增大最陡的方向。具体化到1元函数中时，梯度方向首先是沿着曲线的切线的，然后取切线向上增长的方向为梯度方向，2元或者多元函数中，梯度向量为函数值f对每个变量的导数，该向量的方向就是梯度的方向，当然向量的大小也就是梯度的大小。 现在假设我们要求函数的最值，采用梯度下降法，如图所示： 梯度下降法的基本思想还是挺简单的，现假设我们要求函数f的最小值，首先得选取一个初始点后，然后..
阅读全文
posted @
2012-04-10 19:50
tornadomeet
阅读(9653)
推荐(1) 编辑
一些知识点的初步理解_4(协方差矩阵,ing...)
摘要：每次看公式用到协方差矩阵时，要跑去网站上看一下协方差矩阵的定义，当然一看就能看明白，可是到了下次再碰到时，不查资料又卡住了，卡在那里令人纠结，这只能说明没有真正理解协方差矩阵。这次顺便做下笔记，加深下理解。 首先要清楚一般出现协方差矩阵时就会出现多维列向量，这里假设为n维，另外既然有协方差字眼，那肯定是一个随机变量。这里假设有d个随机变量x1，x2,x3,…,xd,只不过每个随机变量x又是由n个标量组成的列向量。简单的理解就是说在n维空间中有d个随机的点。现在我们需要求的是关于n维空间中这d个点的协方差矩阵。 用uk列向量表示d个点的平均值，uk中的每一个元素对应d个点中相应维数的平均数。所.
阅读全文
posted @
2012-04-09 10:17
tornadomeet
阅读(7495)
推荐(1) 编辑
