样本数量、模型参量的研究

参考文献：https://arxiv.org/abs/1707.02968

https://arxiv.org/abs/1511.02251

来自于知乎FUNNY AI

 

在Revisiting Unreasonable Effectiveness of Data in Deep Learning Era 中，作者使用深度学习技术对3亿幅图像进行分类，他们发现随着训练数据的增加模型性能呈对数增长。 中，作者使用深度学习技术对3亿幅图像进行分类，他们发现随着训练数据的增加模型性能呈对数增长。模型参量变大，性能也会增强。分类类别增多时，性能也会轻微增强，但不是关键factor。重要的还是数据量。

让我们看看另一些在深度学习领域值得注意的，与上述矛盾的结果。具体来说，在Learning Visual Features from Large Weakly Supervised Data 中，作者使用卷积网络来处理 1 亿张 Flickr 图片和标题的数据集。对于训练集的数据量，他们报告说，模型性能会随着数据量的增加而增加，然而，在 5000 万张图片之后，它就停滞不前了。但是此篇论文使用的模型是alexnet，和上一篇论文的残差网络是两个东西，完全没啥借鉴意义。

Imbalanced-learn: A Python Toolbox to Tackle the Curse of Imbalanced Datasets in Machine Learning比较l了在 imbalanced-learn (Python scikit-learn 库)中的不平衡校正方法和简单的使用一个更大的训练数据集。

具体地说，他们在一个 50,000 个样本的药物相关的数据集上，使用 imbalance-correction 中的K近邻方法进行数据不平衡校正，这些不平衡校正技术包括欠采样、过采样和集成学习等，然后在与原数据集相近的 100 万数据集上训练了一个神经网络。

作者重复实验了 200 次，最终的结论简单而深刻：在测量准确度和召回率没有任何一种不平衡校正技术可以与增加更多的训练数据相媲美。