2017 年 10月随笔档案 - 迈克老狼2012

生成学习算法(Generative Learning algorithms)

摘要：一、引言前面我们谈论到的算法都是在给定

$x$ 的情况下直接对

$p(y|x;\theta)$ 进行建模。例如，逻辑回归利用

$h_\theta(x)=g(\theta^T x)$ 对

$p(y|x;\theta)$ 建模，这类算法称作判别学习算法。考虑这样一个分类问题，我们根据一些特征来区别动物是大象

$(y=1)$ 还是狗

$(y=0)$ 。给定了这样一个训练集，逻辑回归或... 阅读全文

posted @ 2017-10-31 20:25 迈克老狼2012 阅读(1849) 评论(0) 推荐(1) 编辑

正态分布(高斯分布)

摘要：http://songshuhui.net/archives/76501http://songshuhui.net/archives/77386 正态分布（Normal distribution）又名高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。正态分布是自然科学与行为科学中的定量现... 阅读全文

posted @ 2017-10-15 09:36 迈克老狼2012 阅读(8079) 评论(0) 推荐(0) 编辑

常见的概率分布

摘要：离散分布0-1分布(伯努利分布)它的分布律为：

$P\{X=k\}=p^k(1-p)^{1-k}, k=0,1, (00$ 泊松分布记作：

$X \sim \pi(\lambda)$ \[\sum\limits_{k=0}^{\infty}P\{X=k\}=\sum\limits_{k=0}^{\infty}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda... 阅读全文

posted @ 2017-10-14 17:24 迈克老狼2012 阅读(5544) 评论(0) 推荐(1) 编辑

广义线性模型

摘要：指数分布族前面学习了线性回归和logistic回归。我们知道对于

$P(y|x;\theta)$ 若y属于实数，满足高斯分布，得到基于最小二乘法的线性回归,若y取{0,1}，满足伯努利分布，得到Logistic回归。这两个算法，其实都是广义线性模型的特例。1) 伯努利分布http://www.cnblogs.com/mikewolf2002/p/7667944.html2) 高斯分布http:/... 阅读全文

posted @ 2017-10-14 17:18 迈克老狼2012 阅读(454) 评论(0) 推荐(0) 编辑

gamma函数及相关其分布

摘要：神奇的gamma函数(上)神奇的gamma函数(下)gamma函数的定义及重要性质

$\Gamma(x)=\int_0^{\infty}t^{x-1}e^{-t}dt$

$\Gamma(x+1) = x \Gamma(x)$

$\Gamma(n) = (n-1)!$

$\Gamma(0) = 1$ \[\Gamma({1\over 2}) = 2\int_0^{+\infty}e^{-u^... 阅读全文

posted @ 2017-10-14 06:55 迈克老狼2012 阅读(4352) 评论(0) 推荐(0) 编辑

牛顿迭代法

摘要：牛顿迭代法（Newton's method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。牛顿迭代公式设r是

$f(x)=0$ 的根，选取

$x_0$ 作为r的初始近似值，过点\((x_0,f(x 阅读全文

posted @ 2017-10-09 21:04 迈克老狼2012 阅读(2031) 评论(0) 推荐(0) 编辑

局部加权线性回归

摘要：通常，选择交给学习算法处理特征的方式对算法的工作过程有很大影响。例如：在前面的例子中，用

$x1$ 表示房间大小。通过线性回归，在横轴为房间大小，纵轴为价格的图中，画出拟合曲线。回归的曲线方程为：

$\theta_0+\theta_1x_1$ ,如下边最左边的图。若定义特征集合为：

$x1$ 表示房子大小，

$x2$ 表示房子大小的平方，使用相同的算法，拟合得到一个二... 阅读全文

posted @ 2017-10-08 16:20 迈克老狼2012 阅读(1613) 评论(0) 推荐(0) 编辑

损失函数的概率验证及性质

摘要：从http://www.cnblogs.com/mikewolf2002/p/7560748.html这篇文章中，我们知道损失函数为下面的形式：\[J(\theta_0, \theta_1..., \theta_n) = \frac{1}{2m}\sum\limits_{i=0}^{m}(h_\theta(x_0^{(i)}, x_1^{(i)}, ...,x_n^{(i)})- y^{(i)})... 阅读全文

posted @ 2017-10-07 19:41 迈克老狼2012 阅读(889) 评论(0) 推荐(0) 编辑

matlib实现梯度下降法

摘要：样本文件下载：ex2Data.zipex2x.dat文件中是一些2-8岁孩子的年龄。ex2y.dat文件中是这些孩子相对应的体重。我们尝试用批量梯度下降法，随机梯度下降法和小批量梯度下降法来对这些数据进行线性回归，线性回归原理在：http://www.cnblogs.com/mikewolf2002/p/7560748.html1.批量梯度下降法（BGD)BGD.m代码：clear all; cl... 阅读全文

posted @ 2017-10-07 13:15 迈克老狼2012 阅读(590) 评论(0) 推荐(0) 编辑

laTex数学公式

摘要：一个在线编辑器 http://www.codecogs.com/latex/eqneditor.php1.分数的表示\frac{1}{\sqrt2}

$\frac{1}{\sqrt2}$ 2.矩阵的表示

$\begin{bmatrix}2 & \cdots & 3 \\ \vdots& \ddots & \vdots\\ 4& \cdots & 9\end{bmatrix}$ \begin{equ... 阅读全文

posted @ 2017-10-06 09:47 迈克老狼2012 阅读(352) 评论(0) 推荐(0) 编辑

matlib常用知识

摘要：把文件装入矩阵x = load('ex4x.dat'); y = load('ex4y.dat');[m, n] = size(x); %得到矩阵x的行数和列数ex4x.dat共80行，2列，通过上面函数，我们把它装入一个80x2的矩阵。5.5500000e+01 6.9500000e+014.1000000e+01 8.1500000e+015.3500000e+01 8.60000... 阅读全文

posted @ 2017-10-06 09:23 迈克老狼2012 阅读(403) 评论(0) 推荐(0) 编辑

logistic回归算法及其matlib实现

摘要：一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要使用回归算法，可以使用logistic回归。 logistic回归本质上是线性回归，只是在特征到结果的映射中多加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)作为假设函数来预测，g(z)可以将连续值映射到0和1上。 logistic回归的假设函数如下，线性回归假设函数只是\(\... 阅读全文

posted @ 2017-10-02 19:16 迈克老狼2012 阅读(1299) 评论(0) 推荐(0) 编辑

迈克老狼2012

10 2017 档案

生成学习算法(Generative Learning algorithms)

正态分布(高斯分布)

常见的概率分布

广义线性模型

gamma函数及相关其分布

牛顿迭代法

局部加权线性回归

损失函数的概率验证及性质

matlib实现梯度下降法

laTex数学公式

matlib常用知识

logistic回归算法及其matlib实现

导航

公告

搜索

常用链接

随笔分类

随笔档案

相册

阅读排行榜

评论排行榜

推荐排行榜

最新评论