随笔分类 - 机器学习笔记
吴恩达机器学习网课系列
摘要:一、代价函数 神经网络用的代价函数是逻辑回归代价函数的一般形式。 二、反向传播算法 为了计算代价函数的偏导数,我们采用反向传播算法。 先通过前向传播求出激活值 计算出最后一层的误差 使用反向传播求出其它层的误差,从而得到代价函数的偏导数 l代表目前所计算的是第几层; j代表目前计算层中第几个神经元;
阅读全文
摘要:神经网络的直观理解 --使用一个手写数字识别的例子来理解神经网络。 一张图片有28x28的像素块,根据像素块的灰度值不同,可排列成不同的数字。 这里,我们把神经网络的第一层理解成一个装有数字的容器,数字代表对应像素的灰度值。0表示纯黑,1表示纯白,我们把这种数字称为“激活值”。 我们把中间的称为隐藏
阅读全文
摘要:神经网络 神经网络被发明后,最初的动机是能够编写软件、能够模拟人的大脑或生物的大脑学习和思考的方式。人类的一切思想起源于大脑的神经元,神经元发送电脉冲,有时会与其他的神经元形成新的连接。一个神经元使用树突接受输入,轴突用于输出。在某些数据庞大的应用领域,使用神经网络可以极大地提高运算效率。 一、神经
阅读全文
摘要:多分类问题 我们已经学习过二分类的问题,但是在生活中有很多场景,目标输出并不仅仅只有两种。例如手写数字的识别,数字不只有0和1两种,还有2、3、4、5、6、7、8、9,那我们就需要引入多分类的问题。 一、Softmax算法 softmax回归算法是逻辑回归算法的泛化,这是一种针对多分类环境的二元分类
阅读全文
摘要:逻辑回归 在线性回归中,我们预测的目标变量取值范围比较广泛,但是在有些问题中,想要预测的结果可能只有两种。例如,我们想要判断一封电子邮件是否为垃圾邮件,又或者是想要预测一场体育比赛是否能取胜。诸如此类问题,我们称之为二分类问题。对于这种类型的问题,如果采用线性回归预测,通常结果是不准确的,特别是在数
阅读全文
摘要:多特征线性回归 在单特征线性回归模型中,我们通过一个特征对目标变量进行预测,例如通过房子的大小来预测房价。但实际现实生活中,影响房价的因素往往不止面积一个,例如还有房间数、楼层、位置等等,所以我们需要用到多特征的模型来对房价进行预测。 一、规定符号 xj:第j个特征 n:特征的数量 x(i):第i个
阅读全文
摘要:单特征线性回归 线性回归模型是回归模型的一种,通常用于预测数据。 一、模型 二、成本函数的使用 线性回归的目标是找到合适的w、b,使成本函数的值最小,让假设函数直线与训练集拟合最好。成本函数是衡量预测值与真实值之间的差异,也即误差,误差越小,预测的结果自然更接近真实值。 以下将展示成本函数与参数的可
阅读全文