2019年7月18日
摘要：
总结一下就是在提升偏差的方面(即贝叶斯最优误差和训练误差的差距) 1、尝试更大更深的网络 2、加入优化算法比如前面提过的momentum、RMSprop、Adam等 3、使用别的神经网络架构比如RNN/CNN等等 在提升方差的方面(即训练误差和测试误差的差距) 1、加大训练集的样本数量 2、正则化操 阅读全文
摘要：
从某种角度来说，已知的人类最佳表现其实可以被当做贝叶斯最优错误，对于医学图像分类可以参见下图中的例子。 那么如何理解超过人类表现，在哪些领域机器已经做到了超越人类呢？ 阅读全文
摘要：
可避免偏差： 总结一下就是当贝叶斯最优误差接近于训练误差的时候，比如下面的例子B，我们不会说我们的训练误差是8%，我们会说我可避免偏差是0.5%。 阅读全文
摘要：
结合吴恩达老师前面的讲解，可以得出一个结论： 在机器学习的早期阶段，传统的机器学习算法在没有赶超人类能力的时候，很难比较这些经典算法的好坏。也许在不同的数据场景下，不同的ML算法有着不同的表现。 但是在接近人类表现，甚至超越人类表现逼近bayes optimal error的时候，深度学习就展现了其 阅读全文
摘要：
train/dev/test的划分 我们在前面的博文中已经提到了train/dev/test的相关做法。比如不能将dev和test混为一谈。同时要保证数据集的同分布等。 现在在train/dev/test的划分中，我们依然要旧事重提关于same distribution即同分布的概念。 假设我们现在 阅读全文
摘要：
单一数字评估指标： 我们在平时常用到的模型评估指标是精度（accuracy）和错误率（error rate），错误率是：分类错误的样本数站样本总数的比例，即E=n/m（如果在m个样本中有n个样本分类错误），那么1-a/m就是精度。除此之外，还会有查准率和查全率，下面举例解释。 按照周志华《机器学习》 阅读全文
摘要：
orthogonalization 正交化的概念就是指，将你可以调整的参数设置在不同的正交的维度上，调整其中一个参数，不会或几乎不会影响其他维度上的参数变化，这样在机器学习项目中，可以让你更容易更快速地将参数调整到一个比较好的数值。 打个比方，当你开车的时候假设有一个按钮1：0.3angle-0.8 阅读全文