随笔分类 - machine learning
摘要：在 使用最大似然法来求解线性模型（3）-求解似然函数 文章中，我们让 logL 对 w 求一阶偏导数，让偏导数等于0，解出 w，这个 w 就是使logL取最大值的w 那为什么令一阶偏导数等于0，求得的w就能够使 logL 取最大值呢？ 在高等数学中，对于一元可导函数f(x)而言，一阶导数f′(x)=
阅读全文
摘要：根据 使用最大似然法来求解线性模型（2）-为什么是最大化似然函数？ 中提到，某个随机变量tn的 条件概率 服从均值为wT*xn，方差为σ2的正态分布。 现在假设有N个样本点，它们的联合概率密度为： 由于在给定了w和σ2的条件下，tn之间是相互独立的。即：在给定的 w，σ2的条件下，t1 t2 ...
阅读全文
摘要：根据 使用最大似然法来求解线性模型（1），待求解的线性模型如下式： tn=wT*xn+ξn 第xn年的百米赛跑的时间tn，与两个参数有关：一个是w，另一个则是该年对应的一个误差值(noise) 在求解w和 ξ 之前，先观察一下误差值的特点： 因此，关于errors（noise）的假设如下： 更进一步
阅读全文
摘要：在Coursera机器学习课程中，第一篇练习就是如何使用最小均方差(Least Square)来求解线性模型中的参数。本文从概率论的角度 最大化似然函数，来求解模型参数，得到线性模型。本文内容来源于：《A First Course of Machine Learning》中的第一章和第二章。 先来看
阅读全文
摘要：在本练习中，先介绍了SVM的一些基本知识，再使用SVM（支持向量机 ）实现一个垃圾邮件分类器。 在开始之前，先简单介绍一下SVM ①从逻辑回归的 cost function 到SVM 的 cost function 逻辑回归的假设函数如下： hθ(x)取值范围为[0,1]，约定hθ(x)>=0.5，
阅读全文
摘要：本文根据水库中蓄水标线(water level) 使用正则化的线性回归模型预 水流量(water flowing out of dam)，然后 debug 学习算法 以及 讨论偏差和方差对 该线性回归模型的影响。 ①可视化数据集 本作业的数据集分成三部分： ⓐ训练集(training set)，样本
阅读全文
摘要：在这篇文章中，会实现一个BP(backpropagation)算法，并将之应用到手写的阿拉伯数字(0-9)的自动识别上。 训练数据集(training set)如下：一共有5000个训练实例(training instance)，每个训练实例是一个400维特征的列向量(20*20 pixel ima
阅读全文
摘要：本作业使用神经网络(neural networks)识别手写的阿拉伯数字(0-9) 关于使用逻辑回归实现多分类问题：识别手写的阿拉伯数字(0-9)，请参考：http://www.cnblogs.com/hapjin/p/6085278.html 由于逻辑回归是线性分类（它的假设函数是一个线性函数，就
阅读全文
摘要：本作业使用逻辑回归(logistic regression)和神经网络(neural networks)识别手写的阿拉伯数字(0-9) 关于逻辑回归的一个编程练习，可参考：Stanford coursera Andrew Ng 机器学习课程编程作业（Exercise 2）及总结 下面使用逻辑回归实现
阅读全文
摘要：Exercise 1：Linear Regression 实现一个线性回归 在本次练习中，需要实现一个单变量的线性回归。假设有一组历史数据<城市人口，开店利润>，现需要预测在哪个城市中开店利润比较好？ 历史数据如下：第一列表示城市人口数，单位为万人；第二列表示利润，单位为10,000$ 用Matla
阅读全文
摘要：Exercise 1：Linear Regression 实现一个线性回归 关于如何实现一个线性回归，请参考：实现一个线性回归 Exercise 2：Logistic Regression 实现一个逻辑回归 问题描述：用逻辑回归根据学生的考试成绩来判断该学生是否可以入学。 这里的训练数据(train
阅读全文