deeplearning - 随笔分类 - 迈克老狼2012

matlib实现logistic回归算法(序一)

摘要：数据下载：http://archive.ics.uci.edu/ml/datasets/Adult数据描述：http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.names这是针对美国某区域的一次人口普查结果，共32561条数据。具体字段如下表：字段名含义类型age年龄连续变量workclass工作类别分类变量，用... 阅读全文

posted @ 2017-12-29 20:07 迈克老狼2012 阅读(828) 评论(0) 推荐(0) 编辑

matlib实现梯度下降法(序一）

摘要：数据来源：http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant数据描述：有四个输入特征，这些数据来自电厂，这四个特征和电量输入有关系，现在通过线性回归求它们之间关系的模型参数。- 温度，Temperature (T) in the range 1.81°C and 37.11°C,- 大气压，Ambient Pressu... 阅读全文

posted @ 2017-12-26 19:53 迈克老狼2012 阅读(258) 评论(0) 推荐(0) 编辑

生成学习算法(Generative Learning algorithms)

摘要：一、引言前面我们谈论到的算法都是在给定

$x$ 的情况下直接对

$p(y|x;\theta)$ 进行建模。例如，逻辑回归利用

$h_\theta(x)=g(\theta^T x)$ 对

$p(y|x;\theta)$ 建模，这类算法称作判别学习算法。考虑这样一个分类问题，我们根据一些特征来区别动物是大象

$(y=1)$ 还是狗

$(y=0)$ 。给定了这样一个训练集，逻辑回归或... 阅读全文

posted @ 2017-10-31 20:25 迈克老狼2012 阅读(1849) 评论(0) 推荐(1) 编辑

常见的概率分布

摘要：离散分布0-1分布(伯努利分布)它的分布律为：

$P\{X=k\}=p^k(1-p)^{1-k}, k=0,1, (00$ 泊松分布记作：

$X \sim \pi(\lambda)$ \[\sum\limits_{k=0}^{\infty}P\{X=k\}=\sum\limits_{k=0}^{\infty}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda... 阅读全文

posted @ 2017-10-14 17:24 迈克老狼2012 阅读(5545) 评论(0) 推荐(1) 编辑

广义线性模型

摘要：指数分布族前面学习了线性回归和logistic回归。我们知道对于

$P(y|x;\theta)$ 若y属于实数，满足高斯分布，得到基于最小二乘法的线性回归,若y取{0,1}，满足伯努利分布，得到Logistic回归。这两个算法，其实都是广义线性模型的特例。1) 伯努利分布http://www.cnblogs.com/mikewolf2002/p/7667944.html2) 高斯分布http:/... 阅读全文

posted @ 2017-10-14 17:18 迈克老狼2012 阅读(454) 评论(0) 推荐(0) 编辑

牛顿迭代法

摘要：牛顿迭代法（Newton's method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。牛顿迭代公式设r是

$f(x)=0$ 的根，选取

$x_0$ 作为r的初始近似值，过点\((x_0,f(x 阅读全文

posted @ 2017-10-09 21:04 迈克老狼2012 阅读(2031) 评论(0) 推荐(0) 编辑

局部加权线性回归

摘要：通常，选择交给学习算法处理特征的方式对算法的工作过程有很大影响。例如：在前面的例子中，用

$x1$ 表示房间大小。通过线性回归，在横轴为房间大小，纵轴为价格的图中，画出拟合曲线。回归的曲线方程为：

$\theta_0+\theta_1x_1$ ,如下边最左边的图。若定义特征集合为：

$x1$ 表示房子大小，

$x2$ 表示房子大小的平方，使用相同的算法，拟合得到一个二... 阅读全文

posted @ 2017-10-08 16:20 迈克老狼2012 阅读(1613) 评论(0) 推荐(0) 编辑

损失函数的概率验证及性质

摘要：从http://www.cnblogs.com/mikewolf2002/p/7560748.html这篇文章中，我们知道损失函数为下面的形式：\[J(\theta_0, \theta_1..., \theta_n) = \frac{1}{2m}\sum\limits_{i=0}^{m}(h_\theta(x_0^{(i)}, x_1^{(i)}, ...,x_n^{(i)})- y^{(i)})... 阅读全文

posted @ 2017-10-07 19:41 迈克老狼2012 阅读(889) 评论(0) 推荐(0) 编辑

matlib实现梯度下降法

摘要：样本文件下载：ex2Data.zipex2x.dat文件中是一些2-8岁孩子的年龄。ex2y.dat文件中是这些孩子相对应的体重。我们尝试用批量梯度下降法，随机梯度下降法和小批量梯度下降法来对这些数据进行线性回归，线性回归原理在：http://www.cnblogs.com/mikewolf2002/p/7560748.html1.批量梯度下降法（BGD)BGD.m代码：clear all; cl... 阅读全文

posted @ 2017-10-07 13:15 迈克老狼2012 阅读(590) 评论(0) 推荐(0) 编辑

logistic回归算法及其matlib实现

摘要：一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要使用回归算法，可以使用logistic回归。 logistic回归本质上是线性回归，只是在特征到结果的映射中多加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)作为假设函数来预测，g(z)可以将连续值映射到0和1上。 logistic回归的假设函数如下，线性回归假设函数只是\(\... 阅读全文

posted @ 2017-10-02 19:16 迈克老狼2012 阅读(1299) 评论(0) 推荐(0) 编辑

常用矩阵导数公式

摘要：1 矩阵

$Y=f(x)$ 对标量x求导矩阵Y是一个

$m\times n$ 的矩阵，对标量x求导，相当于矩阵中每个元素对x求导\[\frac{dY}{dx}=\begin{bmatrix}\dfrac{df_{11}(x)}{dx} & \ldots & \dfrac{df_{1n}(x)}{dx} \\ \vdots & \ddots &\vdots \\ \dfrac{df_{m1... 阅读全文

posted @ 2017-09-24 18:57 迈克老狼2012 阅读(17778) 评论(0) 推荐(4) 编辑

最小二乘法小结

摘要：原帖地址：http://www.cnblogs.com/pinard/p/5976811.html 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式： ... 阅读全文

posted @ 2017-09-23 13:47 迈克老狼2012 阅读(699) 评论(0) 推荐(0) 编辑

梯度下降（Gradient Descent）小结

摘要：原帖地址: http://www.cnblogs.com/pinard/p/5970503.html 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度在微积分里面，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量... 阅读全文

posted @ 2017-09-20 12:05 迈克老狼2012 阅读(1425) 评论(0) 推荐(0) 编辑

迈克老狼2012

随笔分类 - deeplearning

matlib实现logistic回归算法(序一)

matlib实现梯度下降法(序一）

生成学习算法(Generative Learning algorithms)

常见的概率分布

广义线性模型

牛顿迭代法

局部加权线性回归

损失函数的概率验证及性质

matlib实现梯度下降法

logistic回归算法及其matlib实现

常用矩阵导数公式

最小二乘法小结

梯度下降（Gradient Descent）小结

导航

公告

搜索

常用链接

随笔分类

随笔档案

相册

阅读排行榜

评论排行榜

推荐排行榜

最新评论