吴恩达Machine Learning学习笔记(一)
机器学习的定义
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.
某类任务T(task)具有性能度量P(performance),计算机程序可以从任务T的经验E(experience)中学习,提高性能P。
机器学习的种类
主要分为监督学习和无监督学习两大类
监督学习--Supervised Learning
特点:已有输入特征向量x,并已知正确的输出(有标签)y (x,y)称为一个训练样本
目标:学习到从输入到输出的映射
过程:给定训练集,学习函数(又称假设)h:X->Y,使得h(x)是y的一个好的预测
算法模型
分类--输出为离散值
回归--输出为连续值
解决问题的过程
问题的模型表示->损失函数->最小化损失函数->更新参数
以线性回归为例,模型为
损失函数
通过损失函数来衡量假设的准确率accuracy
常用损失函数:均方误差
梯度下降算法
梯度的反方向是函数下降最快的方向
学习速率
参数需要同步更新,不能异步更新
可能会收敛于局部值
迭代方法:batch gradient descent--每次迭代都使用所有样本进行计算
stochastic gradient descent(SGD)--每次只训练一个样本去更新参数。加快收敛速度,解决大数据量无法一次性塞入内存(显存)的问题
mini-batch gradient descent--每次使用batch_size个样本进行计算,是以上两种方法的折中
无监督学习--Unsupervised Learning
特点:输出的结果未知(无标签)
适用问题:聚类