摘要：
1 前言 2012年，Dropout的想法被首次提出，受人类繁衍后代时男女各一半基因进行组合产生下一代的启发，论文《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》 提出了Dropout，它的出现彻底改变了深度学习进 阅读全文
摘要：
1 前言 ResNet 是残差网络(Residual Network)的缩写，是一种作为许多计算机视觉任务主干的经典神经网络。ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，ResNet最根本的突破在于它使得我们可以训练成功非常深的神经网路，如15 阅读全文
摘要：
1 前言 最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具 。 2 定义 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误 阅读全文
摘要：
1 基础知识 相似度或距离 假设有 $m$ 个样本，每个样本由 $n$ 个属性的特征向量组成，样本合集 可以用矩阵 $X$ 表示 $X=[x_{ij}]_{mn}=\begin{bmatrix}x_{11}&x_{12} & ... &x_{1n} \\x_{21}&x_{22} & ... &x_ 阅读全文
摘要：
1 前言 Kjin邻法(k-nearest neighbors,KNN)是一种基本的机器学习方法，采用类似“物以类聚，人以群分”的思想。比如，判断一个人的人品，只需观察他来往最密切的几个人的人品好坏就可以得出。这里就运用了KNN的思想。KNN方法可以做分类，也可以做回归，这点和决策树算法相同。 KN 阅读全文
摘要：
1 前言 如下图有各种各样的虫子，试将它们分成不同的组别。 一般来说可将这些虫子分成四组：蜘蛛、蜗牛、蝴蝶/飞蛾、蜜蜂/黄蜂(不唯一解)。对于人来说很容易？即使虫子数量再多一倍也能把它们分清楚。只需一点时间以及对昆虫学的热情，其实就算有成千上万只虫子你也能将它们分开。但对于一台机器而言，将这 10 阅读全文
摘要：
输入空间 输入$X$可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。 输出空间 输出$Y$可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。 特征空间 输入空间中每个具体的输入就是一个实例 阅读全文
摘要：
1 前言 线性回归形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于线性回归的解直观表达了各属性在预测中的重要性，因此线性回归有很好的可解释性。 1.1 什么是回归分析 回归分析是一种预测性的建模技术 阅读全文
摘要：
1 历史 决策树算法起源于E.B.Hunt等人于1966年提出，但真正让决策树成为机器学习主流算法的还是Quinlan（罗斯.昆兰）大神。昆兰在1979年提出了ID3算法，掀起了决策树研究的高潮。现在最常用的决策树算法是C4.5是昆兰在1993年提出的。为什么叫C4.5？因为昆兰提出ID3后，掀起了 阅读全文
摘要：
1 前言 机器学习和深度学习里面都至关重要的一个环节就是优化损失函数，一个模型只有损失函数收敛到一定的值，才有可能会有好的结果，降低损失的工作就是优化方法需做的事。常用的优化方法：梯度下降法家族、牛顿法、拟牛顿法、共轭梯度法、Momentum、Nesterov Momentum、Adagrad、RM 阅读全文