摘要：
熵 如果X是一个离散型随机变量, 取值空间为R, 那么X的熵H(X)定义为式 联合熵和条件熵 如果X,Y是一对离散型随机变量X,Y~p(x, y), X, Y的联合熵H(X,Y)定义为 联合熵就是描述一对随机变量平均所需要的信息量 给定随机变量X, 随机变量Y的条件熵 将联合熵中的log函数展开 将 阅读全文
摘要：
性能度量是衡量模型泛化能力的评判标准，性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，因此什么样的模型是好的，不仅取决于算法和数据，还取决于任务需求。 1、错误率和精度 其实说白了就是我们的损失函数所体现的指标，比如常见的在分类问题中分类错误类别所占的比例 阅读全文
摘要：
1、什么是流形 流形学习的观点：认为我们所能观察到的数据实际上是由一个低维流行映射到高维空间的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上这些数据只要比较低的维度就能唯一的表示。所以直观上来讲，一个流形好比是一个$d$维的空间，在一个$m$维的空间中$（m > d）$被扭曲之 阅读全文
摘要：
1、条件随机场的定义 条件随机场的定义：设X与Y是随机变量，P(Y|X)是给定条件X时Y的条件概率分布，此时若随机变量Y构成的是一个马尔科夫随机场，则称条件概率分布P(Y|X)是条件随机场。隐马尔科夫模型和隐马尔科夫随机场是属于生成模型，因为它们都有计算联合概率分布，而条件随机场是判别模型，其目标就 阅读全文
摘要：
马尔科夫随机场是典型的马尔科夫网（MRF），是一个可以由无向图表示的概率分布模型。图中每个结点表示一个或者一组变量，结点之间的边表示两个变量之间的依赖关系。在马尔科夫随机场中存在一组势函数（定义在变量子集上的非负实函数），也称为因子，主要是用于定义概率分布函数。 1、模型的定义 首先来了解图的概念， 阅读全文
摘要：
1、自编码的定义 自编码器是一种数据的压缩算法，属于无监督学习，以自身X作为输出值，但输出值X‘ 和自身X之间还是有一些差异的。自编码器也是一种有损压缩，可以通过使得损失函数最小，来实现X’ 近似于X的值。简单的自编码器是一种三层的神经网络模型，包含数据输入层、隐藏层、输出重构层，同时也是一种无监督 阅读全文
摘要：
1、生成模型和判别模型的定义 对于输入数据集X，输出类别Y，生成模型和判别模型可以这样定义 判别模型：由数据集直接学习决策函数y = f(x) 或者条件概率分布P(y|x) 作为预测的模型（决策函数事实上是可以用条件概率表示的，例如在逻辑回归中的决策函数和转换成条件概率），这样的模型称为判别模型。基 阅读全文
摘要：
1、模型的定义 朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分裂方法。首先我们来了解下贝叶斯定理和所要建立的模型。对于给定的数据集 假定输出的类别yi ∈ {c1, c2, ...., ck}，朴素贝叶斯通过训练数据集的条件概率分布$P(x|y)$来学习联合概率。因此在这里我们近视的求先验概率分布 阅读全文
摘要：
本文主要分机器学习和深度学习两部分介绍，介绍常用的优化算法。优化算法的重要性是不言而喻的，优化算法决定了损失函数的收敛速度，甚至是损失函数是否容易收敛，是否会收敛在最小值处（全局优化）。 机器学习优化算法 1、梯度下降法 梯度下降法可以说是机器学习中最常用的算法，当然在深度学习中也会使用。不过一般使 阅读全文
摘要：
降维是机器学习中很重要的一种思想。在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题，称之为“ 维度灾难 ”。另外在高维特征中容易出现特征之间的线性相关，这也就意味着有的特征是冗余存在的。基于这些问题，降维思想就 阅读全文