摘要：
1.什么是向量化？ 在logistic 回归中，你需要计算z=w^Tx+b，w是列向量 ，x也是列向量，w和x都是R内的nx维向量 在python中的一个非向量实现： for i in range(n-x): z+=w[i]*x[i] z+=b 这种形式的计算很慢，对比下向量化的实现会直接计算W^T 阅读全文
摘要：
1.这是梯度下降的规则：，我们要学习的是：(1)Debugging:确保梯度下降正常的工作。(2)选择合适的学习率 2.我们通常所做的事情是确保梯度下降正常工作，梯度下降所做的事情是为你找到一个θ值，并希望能够最小化代价函数J(θ)， 阅读全文
摘要：
1.回顾logistic回归，下式中a是逻辑回归的输出，y是样本的真值标签值 、 (1)现在写出该样本的偏导数流程图。假设这个样本只有两个特征x1和x2， 为了计算z，我们需要输入参数w1、w2和b还有样本的特征值x1和x2，用这个来计算偏导数的计算公式，然后我们可以计算y^就是a，即，最后计算L( 阅读全文
摘要：
1.对某些线性回归问题，正规方程给出了更好的解决方法，来求得参数θ，截止到目前我们一直使用线性回归算法是梯度下降法，为了最小化代价函数J(θ)，我们使用梯度下降多次迭代，来收敛得到全局的最小值。与此相反的正规方程提供了一种求θ的解析方法，我们不需要再去运用迭代的方法，而是可以直接一次性的求解θ最优值 阅读全文
摘要：
1.房价案例： 房价预测：我们有两个特征，临街宽度(frontage)和纵深(depth)，我们可以建立这样的线性回归模型，临街宽度是第一个特征x1,纵深是第二个特征x2 。这里我们可以自己选择特征值，将frontage 乘以 depth得到我们拥有土地的面积，于是我们就用这一个特征来计算，有时通过 阅读全文
摘要：
梯度下降运算中的使用技巧特征缩放： 确保不同的特征值都处在一个相近的范围之内，这样的梯度下降法能够更快的收敛 如：加入你有一个具有两个特征额问题，x1是房屋面积大小，取值在0-2000之间； x2是卧室的数量，可能的取值在1到5之间，如果要画出代价函数J(θ)的等值线，代价函数是关于参数θ1和θ2的 阅读全文
摘要：
1.左边是梯度下降算法，右边是线性回归模型 我们要做的是将梯度下降算法应用到最小化平方差代价函数 在计算梯度下降时，不断的重复计算直至最后收敛。 上式(1)中是对θ0进行求偏导，(2)是对θ1求偏导。在凸函数中， 阅读全文
摘要：
1.使用梯度下降来处理多元线性回归，下式使我们多元线性回归的假设式，这个模型的参数是从θ0到θn，这里我们不把它看做n个独立的参数，而是把这些参数看做一个n+1维的θ向量，我们的代价函数是J(θ0,θ1,θ2......θn) 但是这里我们不把J看做n+1个数的函数，我们使用更通用的方式将J谢春哥θ 阅读全文
摘要：
1.前面的线性回归只有一个单一特征量，即房屋的面积大小x，我们希望用这个特征量来预测y值，即房屋的价格，就是我们的假设函数。但是当我们有多个变量来来作为预测房屋的价格的一个特征或者一个变量，我们不仅知道了房屋的大小，还知道卧室的个数，楼层的数量以及房子的年龄，这就给了我们更多用来预测价格的信息。 ( 阅读全文
摘要：
1.矩阵：由数字组成的矩形阵列，并写在方括号内 2.向量：只有一列的矩阵，从0开始做下标 3.矩阵乘法没有交换律：AXB!=BXA(矩阵的乘法没有交换律) 矩阵乘法有结合律：AxBxC=(AxB)xC=Ax(BxC) 4.单位矩阵。nxn单位矩阵，不同的单位矩阵有不同的维度n 5.对于任意矩阵A，乘 阅读全文