摘要：
过拟合（overfitting）：实际操作过程中，无论是线性回归还是逻辑回归，其假设函数h(x)都是人为设定的（尽管可以通过实验选择最优）。这样子就可能出线“欠拟合”或者“过拟合”现象。所谓过拟合，就是模型复杂度过高，模型很好地拟合了训练样本却对未知样本的预测能力不足。（亦称"泛化"能力不足）所谓欠拟合，就是模型复杂度过低，模型不能很好拟合不管是训练样本还是其他样本。例子：如果输出与输入大致成二次关系，那么我们用一次函数去拟合，拟合结果过于平缓，跟不上变化，这就是“欠拟合”用3、4次函数去拟合，则会出现过多的“抖动”，这就是“过拟合”如图，线性回归中的“欠拟合”和“过拟合” 阅读全文
摘要：
逻辑回归主要用于解决分类问题，在现实中有更多的运用，正常邮件or垃圾邮件车or行人涨价or不涨价用我们EE的例子就是：高电平or低电平同时逻辑回归也是后面神经网络到深度学习的基础。（原来编辑器就有分割线的功能啊……）一、Logistic Function（逻辑方程）同线性回归，我们会有一个Hypothesis Function对输入数据进行计算已得到一个输出值。考虑到分类问题的特点，常用的函数有sigmoid方程（又叫logistic方程）其函数图像如下可见：1、输出区间为（0，1）；2、对于所有输入 z0, g(z) > 0.5。因此我们可以把输出 g(z) 看作是一种概率，当输入 z 阅读全文
摘要：
为了获得良好的收敛，在进行梯度下降前，我们可以对数据进行预处理。目标是使得数据大小在同一个数据数量级上，均值为零。一般将数据放缩到（-1，1）区间，我们可以对数据进行如下操作：其中u1是数据的均值，s1为数据绝对值的最大值。用处理后的数据进行梯度下降可以获得更好效果。 阅读全文
摘要：
上次用简单地介绍了线性回归的模型和梯度下降获得参数方程的方法。用到的一个十分简单的参数方程h(x)=theta0+theta1*x在现实问题中，参数方程能要复杂许多，不只有一个未知量x，可能有多个未知量x、y，不只有一次项，更有多次项，因此，梯度下降的过程变化为：（注意偏导的计算公式） 阅读全文
摘要：
关于DL，由于我是零经验入门，事实上我是从最简单的ML开始学起，所以这个系列我也从ML开始讲起。===============并行分割线=================一、线性回归线性回归主要运用于“预测”类问题：假设我们有一堆的数据（房间大小，房价）。给定一个没见过的房间大小，它的价格应该怎么估计呢？一般来说，我们可以假定房价h(x)和大小x之间存在一种线性关系。求出最优h(x)后，对于每一个大小x的房间，我们都可以给出一个估价h(x)概念：COST FUNCTION（代价函数）给定假设h(x):在已知数据的条件下，他的代价函数为J(theta1,theta2):可见，代价函数体现了一种预 阅读全文