随笔分类 - 统计学习（机器学习入门）
如果一个系统能够通过执行某个过程改进它的性能，这就是学习。按照这一观点，统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习，现在人们提及的机器学习往往是指统计机器学习。
摘要：https://www.cnblogs.com/chuxiuhong/p/6132814.html
阅读全文
摘要：为了帮助提高Pytorch的训练效率，英伟达提供了混合精度训练工具Apex。号称能够在不降低性能的情况下，将模型训练的速度提升2-4倍，训练显存消耗减少为之前的一半。该项目开源于：https://github.com/NVIDIA/apex ,文档地址是：https://nvidia.github.
阅读全文
摘要：正则化：凡是可以减少泛化误差而不是减少训练误差的方法都是正则化方法。 在神经网络中参有两类，w叫权重，b叫偏置，w（权重）其实是模型里面未知数的系数，其取值情况决定了模型曲线什么样子，b的取值只会改变模型平移情况，L1L2正则化只针对w进行正则化处理。 L1L2是指L1L2范数，范数理解为把”空间中
阅读全文
摘要：什么是机器学习？ 机器学习：简单来说就是机器通过一系列任务从经验（数据）中学习并且评估效果如何。 机器学习中很多地方都要根据目前的信息做出决策，信息熵主要是反应信息的不确定性，他的一个很重要的作用就是做决策时提供一定的判断依据，比如决策树根据熵来往下设置分支。 信息上实际反应的是一个信息的不确定度。
阅读全文
摘要：监督学习的问题无非就是minimizeyour error while regularizing your parameters 。也就是说在规范化参数的同时最小化误差。最小化误差就是为了让我们的模型拟合我们的训练数据，而规范化参数是为了防止我们的模型过分地拟合了我们的训练数据集。因为参数太多，会导
阅读全文
摘要：统计学习包括监督学习、非监督学习、半监督学习以及强化学习，主要学习监督学习问题。 监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测（这里的输入、输出是指某个系统输入输出，与学习的输入输出不同），计算机的基本操作就是给定一个输入产生一个输出，所以监督学习是极其重
阅读全文
