一动不动的葱头

摘要： 最速下降法的影子在机器学习中正是无处不在，它简单实用。一、表示 在最速下降法中，对权值向量w的连续调整是在最速下降的方向上，即它是与梯度向量方向相反的，梯度向量记为（1），简记（2）： 其中，η是一个正常数，称为步长或学习率参数。g(n)是在w(n)处的梯度向量值。在从迭代n到n+1的过程中... 阅读全文

摘要： 神经网络中的方向传播算法讲得复杂难懂。简单地说明它的原理： 神经网络：输入层，隐藏层，输出层。根据线性关系，激活函数，并最终根据监督学习写出误差表达式。此时，误差函数可写成，那么权值w和它之间存在什么关系？求偏导分析之间的变化关系 不过如此。 阅读全文

摘要： 一、批量学习 在监督学习的批量方法中，多层感知器的突出权值的调整在训练样本集合的所有N个例子都出现后进行，这构成了训练的一个回合。换句话说，批量学习的代价函数是由平均误差能量定义的。多层感知器的突触权值的调整是以回合-回合为基础的。相应地，学习曲线的一种实现方式是通过描绘平均误差能量对回合数的图形... 阅读全文

摘要： 一、感知器算法和LMS算法 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。 感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。 而由美国斯坦福大学的Widrow和Hoff在研究自适... 阅读全文

摘要： 一、一个形象的比喻 粒子群算法可以用鸟类在一个空间内随机觅食为例，所有的鸟都不知道食物具体在哪里，但是他们知道大概距离多远，最简单有效的方法就是搜寻目前离食物最近的鸟的周围区域。 所以，粒子群算法就是把鸟看成一个个粒子，并且他们拥有位置和速度这两个属性，然后根据自身已经找到的离食物最近的解和参... 阅读全文

摘要： 模拟退火算法源于模拟退火的原理。〇、模拟退火的历史 1953年，Metropolis提出重要性采样法，即以概率接受新状态，称Metropolis准则，计算量相对Monte Carlo方法显著减少。􀂄 1983年，Kirkpatrick等提出模拟退火算法，并将其应用于组合优化问题的求解。一... 阅读全文

摘要： 遗传算法，很多博客把生物的遗传原理讲得相当到位，而对于算法的详细步骤及应用却避之不谈。本博客少量提及生物原理，然后介绍算法步骤及应用。写得很匆忙，暂时这么理解，多有错误，望读者见谅。一、生物原理及数学表示 遗传算法，从生物角度看，对物种的选择是，“物竞天择，适者生存”。亲代通过基因重组和基因突... 阅读全文

摘要： logistic回归总是让我很迷惑。 基本的思路是： 1、先是，特征向量x-p函数是logistic函数,注意到这里是不是密度函数，因为它的积分不是1。 2、其次，根据0-1分布，写出离散分布的概率密度函数。 3、最后，根据最大似然函数求出参数。 可是，什么情况下，特征向量x与0或1的... 阅读全文

摘要： 最大似然估计是一种奇妙的东西，我觉得发明这种估计的人特别才华。如果是我，觉得很难凭空想到这样做。 极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。因此，频率派最关心极大似然函数，只要参数求出来了，给定自变量X，Y也就固定了，极大似然估计如下所示: 阅读全文

摘要： P问题：在多项式时间内解决。NP问题：在多项式时间内验证可能答案中的一个。NPC问题：所有NP问题归约成一个问题，解决了这个问题，就相当于解决了所有的NP问题。P问题是NP问题，因为在多项式时间内解决就肯定可以在多项式时间内验证可能答案中的一个NP问题是P问题吗？未获证明！解决了该问题去美国哪100... 阅读全文