摘要： 1.过拟合问题 对于过拟合问题，通常原因是模型选择太过复杂，也有可能是训练数据太少。对于模型太复杂的情况，我们一般有如下考虑：一是通过分析删除部分特征（比如重复多余的特征或者对输出值贡献不太大的特征），但是这样有可能会损失一部分信息。所以，我们可以通过正则化的方法来降低参数值，从而避免过拟合问题。对 阅读全文

摘要： 1.欠拟合(underfitting)与过拟合(overfitting) 在机器学习中，我们的主要思想是通过对数据集的学习来生成我们的假设模型。在对数据集进行拟合的过程中，我们可能会遇到欠拟合和过拟合的问题。以身高预测的例子为例，这里给出7 18岁男生的身高标准（数据来源： "7 岁～18 岁儿童青 阅读全文

摘要： 分类算法之逻辑回归（Logistic Regression） 1.二分类问题 现在有一家医院，想要对病人的病情进行分析，其中有一项就是关于良性\恶性肿瘤的判断，现在有一批数据集是关于肿瘤大小的，任务就是根据肿瘤的大小来判定是良性还是恶性。这就是一个很典型的二分类问题，即输出的结果只有两个值 良性和恶 阅读全文

摘要： 线性回归之梯度下降法 1.梯度的概念 梯度是一个向量，对于一个多元函数$f$而言，$f$在点$P(x,y)$的梯度是$f$在点$P$处增大最快的方向，即以f在P上的偏导数为分量的向量。以二元函数$f(x,y)$为例，向量$\{\frac{\partial f}{\partial x},\frac{\ 阅读全文

摘要： ###线性回归之最小二乘法 1.最小二乘法的原理 最小二乘法的主要思想是通过确定未知参数$\theta$（通常是一个参数矩阵），来使得真实值和预测值的误差（也称残差）平方和最小，其计算公式为$E=\sum_{i=0}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y_i})^2$，其中$ 阅读全文