随笔分类 - 机器学习
摘要：1. BN：Batch Normalization 深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢 2. 如何理解卷积 两个函数的卷积，本质上就是先将一个函数翻转，然后进行滑动叠加。 1） 从“积”的过程可以看到，我们得到的叠加值，是个全局的概念。以信号分析为例，卷积的结果是不仅跟当前时
阅读全文
摘要：决策树 决策树的几种经典实现方式是ID3，C4.5 和 CART 分类树: 对一个样本的分类进行预测 信息熵 度量样本集合纯度的一种指标，熵越大，则说明该数据分类的纯度越纯 D表示数据集，假设D共有m个类别，Pk 表示第k个类别占样本总数的比例 基尼指数 CART用作分类时使用基尼指数作为划分依据
阅读全文
摘要：线性回归： 不满秩，计算误差大 岭回归： 岭回归是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数，它是更为符合实际、更可靠的回归方法，对存在离群点的数据的拟合要强于最小二乘法。 不同与线性回归的无偏估计，岭回归的优势在于它的无偏估计，更趋向于将部分系
阅读全文
摘要：建树过程 选取具有最大增益的结点分裂 容易过拟合通过max_depth 限制
阅读全文
摘要：只有加法和数乘就是线性空间。 定义了距离的线性空间就是线性度量空间。 再更具体一点定义了范数，就是赋范空间。 再多定义一个内积，就是内积空间。 那希尔伯特空间呢，就是再多定义一个完备性，这里的完备性是为了取极限操作而准备的。也就是说有了完备性，取极限才不会跑出自己的空间。 欧氏空间： 对现实空间的规
阅读全文
