摘要:
1 定义 过拟合:一个假设在训练数据上能够获得比其他假设更好的拟合, 但是在测试数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象。(模型过于复杂) 欠拟合:一个假设在训练数据上不能获得更好的拟合,并且在测试数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。(模型过于简 阅读全文
摘要:
1 案例背景介绍 数据介绍 给定的这些特征,是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用,只需要使用这些特征。到后面量化很多特征需要我们自己去寻找 2 案例分析 回归当中的数据大小不一致,是否会导致结果影响较大。所以需要做标准化处理。 数据分割与标准化处理 回归预测 线性 阅读全文
摘要:
sklearn.linear_model.LinearRegression(fit_intercept=True) 通过正规方程优化 参数 fit_intercept:是否计算偏置 属性 LinearRegression.coef_:回归系数 LinearRegression.intercept_: 阅读全文
摘要:
1 全梯度下降算法(FG)计算训练集所有样本误差,对其求和再取平均值作为目标函数。 权重向量沿其梯度相反的方向移动,从而使当前目标函数减少得最多。 因为在执行每次更新时,我们需要在整个数据集上计算所有的梯度,所以批梯度下降法的速度会很慢,同时,批梯度下降法无法处理超出内存容量限制的数据集。 批梯度下 阅读全文
摘要:
假设刚才的房子例子,真实的数据之间存在这样的关系: 真实关系:真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率 那么现在呢,我们随意指定一个关系(猜测) 随机指定关系:预测房子价格 = 0.25×中心区域的距离 阅读全文
摘要:
1 线性回归API sklearn.linear_model.LinearRegression() LinearRegression.coef_:回归系数 2 举例 2.1 步骤分析 1.获取数据集 2.数据基本处理(该案例中省略) 3.特征工程(该案例中省略) 4.机器学习 5.模型评估(该案例中 阅读全文
摘要:
第一:扎实的技术积累。软件行业中的不少架构师都是从程序员成长起来的,扎实的研发基础能让架构师的设计方案更具可行性。当然,并不是所有的架构师都需要掌握技术细节,随着目前软件行业的快速发展,不少架构师的关注点往往是方案的本身,所以目前行业中也有一部分架构师并不了解很多技术细节。 第二:较强的学习能力。学 阅读全文
摘要:
1 线性回归应用场景 房价预测 销售额度预测 贷款额度预测 举例: 2 什么是线性回归 2.1 定义与公式 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。 特点:只有一个自变量的情况称为单变量回归,多 阅读全文
摘要:
1 项目描述 本次比赛的目的是预测一个人将要签到的地方。 为了本次比赛,Facebook创建了一个虚拟世界,其中包括10公里*10公里共100平方公里的约10万个地方。 对于给定的坐标集,您的任务将根据用户的位置,准确性和时间戳等预测用户下一次的签到位置。 数据被制作成类似于来自移动设备的位置数据。 阅读全文
摘要:
1 什么是交叉验证(cross validation) 交叉验证:将拿到的训练数据,分为训练和验证集。以下图为例:将数据分成4份,其中一份作为验证集。然后经过4次(组)的测试,每次都更换不同的验证集。即得到4组模型的结果,取平均值作为最终结果。又称4折交叉验证。 1.1 分析 我们之前知道数据分为训 阅读全文