loujiayu

摘要： 能量模型的概念从统计力学中得来，它描述着整个系统的某种状态，系统越有序，系统能量波动越小，趋*于*衡状态，系统越无序，能量波动越大。例如：一个孤立的物体，其内部各处的温度不尽相同，那么热就从温度较高的地方流向温度较低的地方，最后达到各处温度都相同的状态，也就是热*衡的状态。在统计力学中，系统处于某个状态的相对概率为，即玻尔兹曼因子，其中T表示温度，是玻尔兹曼常数，是状态的能量。玻尔兹曼因子本身并不是一个概率，因为它还没有归一化。为了把玻尔兹曼因子归一化，使其成为一个概率，我们把它除以系统所有可能的状态的玻尔兹曼因子之和Z，称为配分函数(partition function)。这便给出了玻尔兹曼分布。 阅读全文

摘要： 对于一个拥有输入层，隐藏层，输出层的三层神经网络，我们称之为shallow learning，它处理输入特征明显的数据效果很好，但对于比较复杂的数据需要引入更多的隐藏层，因为每一个隐藏层可以看作对上一层输出的非线性转换，也就可以学习到更加复杂的模型。但是单纯的在原来三层网络上曾加隐藏层并没有带来更好的效果，因为层数曾加以后使用梯度下降法优化的是一个高度非凸的优化问题，训练误差很容易陷入局部极值，还有通过反向传导算法计算导数的时候，随着网络深度的增加，反向传导的梯度幅值会急剧减小，使得网络中最初几层的权值在训练过程中调整的幅度非常小，我在使用具体数据实验时，曾加隐藏层的个数对于最终的结果几乎没影响，原因在于，对于深度网络反向传导时主要训练的只是最后的logistic层，对于前面的几层只是进行一些微调。要解决上述问题我们需要预训练深度网络，即逐层的训练参数，然后把预训练完成的隐藏层级联在一起，在这之前首先介绍自编码器，它是一种无监督学习，通过自编码器计算出的权重已收敛于合理的范围之内，相比之前随机的选择权重明显靠谱很多。 阅读全文

摘要： 转载于http://www.ibm.com/developerworks/cn/linux/sdk/assemble/inline/，比较全面的内联汇编介绍。 阅读全文

摘要： 卷积神经网络是一种特殊的深层的神经网络模型，它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的， 另一方面同一层中某些神经元之间的连接的权重是共享的（即相同的）。它的非全连接和权值共享的网络结构使之更类似于生物 神经网络，降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量。 阅读全文

摘要： 本文主要介绍多层感知器模型（MLP），它也可以看成是一种logister回归，输入层通过非线性转换，即通过隐含层把输入投影到线性可分的空间中。 阅读全文

摘要： 机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。 阅读全文

摘要： 我在项目中应用的SVM库是国立台湾大学林智仁教授开发的一套开源软件，主要有LIBSVM与LIBLINEAR两个，LIBSVM是对非线性数据进行分类，大家也比较熟悉，LIBLINEAR是对线性数据进行分类，时间复杂度较之LIBSVM要低得多，而且运用于嵌入式领域的话产生的训练集占用芯片内存也要少得多，所以如果需要分类的数据有比较好的区分度的话，推荐使用LIBLINEAR。 阅读全文

摘要： 贝叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知其出现概率的情况下，如何完成推理和决策任务。概率推理是与确定性推理相对应的。而朴素贝叶斯分类器是基于独立假设的，即假设样本每个特征与其他特征都不相关。朴素贝叶斯分类器依靠精确的自然概率模型，在有监督学习的样本集中能获取得非常好的分类效果。在许多实际应用中，朴素贝叶斯模型参数估计使用最大似然估计方法，换而言之朴素贝叶斯模型能工作并没有用到贝叶斯概率或者任何贝叶斯模型。尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多复杂的现实情形中仍能够取得相当好的效果。 阅读全文

摘要： 在上文中我们已经了解到使用SVM处理线性可分的数据，而对于非线性数据需要引入核函数的概念它通过将数据映射到高维空间来实现线性可分。 阅读全文

摘要： 支持向量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。 阅读全文