摘要：
一：引言 在前面我们谈论到的算法都是在给定x的情况下直接对p(y|x;Θ)进行建模。例如，逻辑回归利用hθ(x) = g(θTx)对p(y|x;Θ)建模。 现在考虑这样一个分类问题，我们想根据一些特征来区别动物是大象(y=1)还是狗(y=0)。给定了这样一个训练集，逻辑回归或感知机算法要做的就是去找 阅读全文
摘要：
在线性回归问题中，我们假设，而在分类问题中，我们假设，它们都是广义线性模型的例子，而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型都是基于广义线性模型的，例如，传统的线性回归模型，最大熵模型，Logistic回归，softmax回归。 指数分布族 在了解广义线性模型之前，先了解一 阅读全文
摘要：
分类问题和线性回归问题问题很像，只是在分类问题中，我们预测的y值包含在一个小的离散数据集里。首先，认识一下二元分类(binary classification)，在二元分类中，y的取值只能是0和1.例如，我们要做一个垃圾邮件分类器，则为邮件的特征，而对于y，当它1则为垃圾邮件，取0表示邮件为正常邮件 阅读全文
摘要：
首先我们来看一个线性回归的问题，在下面的例子中，我们选取不同维度的特征来对我们的数据进行拟合。 对于上面三个图像做如下解释： 选取一个特征，来拟合数据，可以看出来拟合情况并不是很好，有些数据误差还是比较大 针对第一个，我们增加了额外的特征，，这时我们可以看出情况就好了很多。 这个时候可能有疑问，是不 阅读全文
摘要：
在我们遇到回归问题时，例如前面提到的线性回归，我们总是选择最小而成作为代价函数，形式如下： 这个时候，我们可能就会有疑问了，我们为什么要这样来选择代价函数呢？一种解释是使我们的预测值和我们训练样本的真实值之间的距离最小，下面我们从概率的角度来进行解释。 首先假设输入变量和目标变量满足下面的等式 ε（ 阅读全文
摘要：
首先，我们继续上一篇文章中的例子，在这里我们增加一个特征，也即卧室数量，如下表格所示： 因为在上一篇中引入了一些符号，所以这里再次补充说明一下： x‘s：在这里是一个二维的向量，例如：x1(i)第i间房子的大小(Living area)，x2（i）表示的是第i间房子的卧室数量(bedrooms). 阅读全文