摘要：
1、什么是指数分布族1.1 基本描述 指数型分布是一类重要的分布族，在统计推断中，指数型分布族占有重要的地位，在各领域应用广泛。许多的统计分布都是指数型分布，彼此之间具有一定的共性，在研究其统计性质与分布特征时，利用指数型分布族的特征，可以将这一族分布的特征分别表示出。在广义线性模型的统计推断... 阅读全文
摘要：
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。迭代过程为： 可以看出，梯... 阅读全文
摘要：
先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因是f(w)... 阅读全文
摘要：
今天来讨论多元函数求极值问题，在Logistic回归用牛顿迭代法求参数会用到，所以很有必要把它研究清楚。回想一下，一元函数求极值问题我们是怎样做的？比如对于凹函数，先求一阶导数，得，由于极值处导数一定为零，但是导数等于零的点不一定就有极值，比如。所以还需要进一步判断，对函数继续求二阶导得到，因为在驻... 阅读全文
摘要：
一、引言 本材料参考Andrew Ng大神的机器学习课程http://cs229.stanford.edu，以及斯坦福无监督学习UFLDL tutorialhttp://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 机器学习中的回归问题属于有监... 阅读全文
摘要：
main.hclear;clc;load mnist_uint8;train_x = double(train_x')/255;test_x = double(test_x')/255;train_y = double(train_y');test_y = double(test_y');%每层的神... 阅读全文
摘要：
1.相关算子（Correlation Operator)定义：, 即 ，其中ｈ称为相关核(Kernel).步骤：1）滑动核，使其中心位于输入图像g的（i，j）像素上2）利用上式求和，得到输出图像的（i，j）像素值3）充分上面操纵，直到求出输出图像的所有像素值 例：A = [17 24 1 8 15... 阅读全文
摘要：
概述以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：这个“神经元”是一个以 及截距 为... 阅读全文
摘要：
（注：本文译自一篇博客，作者行文较随意，我尽量按原意翻译，但作者所介绍的知识还是非常好的，包括例子的选择、理论的介绍都很到位，由浅入深，源文地址） 近些年来，人工智能领域又活跃起来，除了传统了学术圈外，Google、Microsoft、facebook等工业界优秀企业也纷纷成立相关研究团队，并取得... 阅读全文