摘要： 本讲大纲： 1.生成学习算法（Generative learning algorithm） 2.高斯判别分析（GDA，Gaussian Discriminant Analysis） 3.朴素贝叶斯（Naive Bayes） 4.拉普拉斯平滑（Laplace smoothing） 1.生成学习算法 判 阅读全文

摘要： 本节内容 牛顿方法 指数分布族 广义线性模型 之前学习了梯度下降方法，关于梯度下降（gradient descent），这里简单的回顾下【参考感知机学习部分提到的梯度下降(gradient descent)】。在最小化损失函数时，采用的就是梯度下降的方法逐步逼近最优解，规则为其实梯度下降属于一种优化 阅读全文

摘要： 最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中 阅读全文

摘要： 下面给出H函数 由这个函数生成的曲线称为Sigmoid曲线 先不从数学上说为什么这个模型中二元分类上比线性模型好，单纯从图形上看就可以得到直观的结论 首先Y值域在[0,1]，其次图形中中间陡峭而两边平缓，符合二元分类的样本点特性 确定了模型，下面要做的是fit最优的θ，仍然是采用最大似然法，即找出对 阅读全文

摘要： 应学习之需，最近一段时间阅读了一篇论文，特写下总结，若有纰漏，还望指出。 目录 1.1 为什么要了解移动用户的隐私期望 1、移动设备的广泛使用存在一些潜在的隐私威胁和信息泄漏。 2、系统供应商针对这个问题已经提出了相应措施，例如：苹果的iOS系统可以让用户控制应用是否可以访问特定的敏感数据源。And 阅读全文

摘要： Locally weighted regression，局部加权回归 对于线性回归，问题是选取的特征的个数和什么特征会极大影响fit的效果。 比如下图，是分布使用下面几个模型进行拟合的 ： 通常会认为第一个模型underfitting（欠拟合），而第三个模型overfitting（过拟合），第二个模 阅读全文

摘要： Probabilistic interpretation，概率解释 解释为何线性回归的损失函数会选择最小二乘 表示误差，表示unmodeled因素或随机噪声，真实的y和预测出来的值之间是会有误差的，因为我们不可能考虑到所有的影响结果的因素，比如前面的例子，我们根据面积和卧室的个数来预测房屋的价格，但 阅读全文

摘要： 一、背景知识 “最小二乘法”出现的历史背景是很有意思的。（以下文字摘录维基百科） 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计 阅读全文

摘要： 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟 阅读全文

摘要： 回归与梯度下降： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。 用一个很简单的例子来说明回归，这 阅读全文