摘要：
pom英文全称： project object model 1、概述 pom.xml文件描述了maven项目的基本信息，比如groupId，artifactId，version等。也可以对maven项目的远程仓库，打包形式，资源依赖关系等进行配置。一个最简单的pom.xml文件至少需要包含四个元素： 阅读全文
摘要：
本文主要讨论隐马尔科夫模型的三大要素，三大假设和三大问题。1、引入 隐马尔可夫模型是一个关于时序的概率模型，它描述了一个由隐藏的马尔可夫链生成状态序列，再由状态序列生成观测序列的过程。其中，状态之间的转换以及观测序列和状态序列之间都存在一定的概率关系。隐马尔可夫模型主要用来对上述过程进行建模。为了... 阅读全文
摘要：
LDA, Linear Discriminant Analysis，线性判别分析。注意与LDA（Latent Dirichlet Allocation，主题生成模型）的区别。1、引入 上文介绍的PCA方法对提取样本数据的主要变化信息非常有效，而忽略了次要变化的信息。在有些情况下，次要信息可能正是把... 阅读全文
摘要：
PCA： Principal Components Analysis，主成分分析。1、引入 在对任何训练集进行分类和回归处理之前，我们首先都需要提取原始数据的特征，然后将提取出的特征数据输入到相应的模型中。但是当原始数据的维数特别高时，这时我们需要先对数据进行降维处理，然后将降维后的数据输入到模型... 阅读全文
摘要：
针对牛顿法中海塞矩阵的计算问题，拟牛顿法主要是使用一个海塞矩阵的近似矩阵来代替原来的还塞矩阵，通过这种方式来减少运算的复杂度。其主要过程是先推导出海塞矩阵需要满足的条件，即拟牛顿条件（也可以称为拟牛顿方程）。然后我们构造一个满足拟牛顿条件的近似矩阵来代替原来的海塞矩阵。 另外，在满足拟牛顿条件... 阅读全文
摘要：
牛顿法法主要是为了解决非线性优化问题，其收敛速度比梯度下降速度更快。其需要解决的问题可以描述为：对于目标函数f(x)，在无约束条件的情况下求它的最小值。其中x=(x1,x2,..,xn)是n维空间的向量。我们在下面需要用到的泰勒公式先在这写出来。牛顿法的主要思想是：在现有的极小值估计值的附近对f(x... 阅读全文
摘要：
1、似然函数 概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样条件下再次发生的概率... 阅读全文
摘要：
本文主要分两个部分进行讨论，首先介绍最简单的线性回归模型；接着对逻辑回归进行分析1、线性回归-->最小二乘法对于线性回归问题，我们根据自变量的个数将其分为一元线性回归和多元线性回归，本部分先详细介绍一元线性模型，然后将其推广到多元线性模型1）一元线性模型当输入只有一个自变量时，我们称之为一元线性模型... 阅读全文
摘要：
卷积神经网络中的权值更新也是使用误差的反向传播算法。损失函数一般使用最小平方误差函数。由于卷积网络中存在两部分区域：卷积区和全连接区，它们在计算损失时有所不同我们将其分开进行讨论。1、全连接网络的权值更新 这一部分与经典的人工神经网络不同之处在于多了一个偏置值。我们主要对多出的这个偏置值的更新... 阅读全文
摘要：
由于在看这类文章时专业名词较多，所以在正式开始前，我先介绍一些同义专业名词，各名词具体含义以及之间的关系在文中介绍。卷积层 = C层采样层 = 池化层（pooling层），S层平面 = 特征图（feature map），通道，map卷积核 = 权向量，滤波器神经元 = 特征，结点，单元，像素点，pa... 阅读全文
摘要：
首先什么是人工神经网络？简单来说就是将单个感知器作为一个神经网络节点，然后用此类节点组成一个层次网络结构，我们称此网络即为人工神经网络（本人自己的理解）。当网络的层次大于等于3层（输入层+隐藏层（大于等于1）+输出层）时，我们称之为多层人工神经网络。1、神经单元的选择 那么我们应该使用什么样的... 阅读全文
摘要：
感知器作为人工神经网络中最基本的单元，有多个输入和一个输出组成。虽然我们的目的是学习很多神经单元互连的网络，但是我们还是需要先对单个的神经单元进行研究。感知器算法的主要流程： 首先得到n个输入，再将每个输入值加权，然后判断感知器输入的加权和最否达到某一阀值v，若达到，则通过sign函数输出1，否则... 阅读全文
摘要：
1、优化模型的两种策略：1）基于残差的方法 残差其实就是真实值和预测值之间的差值，在学习的过程中，首先学习一颗回归树，然后将“真实值-预测值”得到残差，再把残差作为一个学习目标，学习下一棵回归树，依次类推，直到残差小于某个接近0的阀值或回归树数目达到某一阀值。其核心思想是每轮通过拟合残差来降低损失... 阅读全文
摘要：
提升树是以决策树为基分类器的提升方法，通常使用CART树。针对不同问题的提升树学习算法，主要区别在于使用的损失函数不同。1）分类问题：指数损失函数。可以使用CART分类树作为AdaBoost的基分类器，此时为分类提升树。2）回归问题：平方误差损失函数。3）决策问题：一般损失函数。1、提升树算法提升树... 阅读全文
摘要：
AdaBoost（Adaptive Boosting）：自适应提升方法。1、AdaBoost算法介绍AdaBoost是Boosting方法中最优代表性的提升算法。该方法通过在每轮降低分对样例的权重，增加分错样例的权重，使得分类器在迭代过程中逐步改进，最终将所有分类器线性组合得到最终分类器，Boost... 阅读全文