摘要：
1. 数据清洗 1.1 数据质量概念 数据清洗是保证数据质量的重要步骤，数据质量最重要的方面是准确性、完整性、一致性，其次还有时效性、可信性、可解释性。 数据质量对于数据的不同适用对象而言重要性不同。 数据质量问题有很多源头： 人为性问题： 人为的偶然因素：如记忆偏差、测量偏差； 人为的系统因素：采 阅读全文
摘要：
0. 需求 当训练的数据非常多时，是不希望分配过多的内存将数据存入，否则其他占用内存的数据处理步骤就没法进行了。我们最好是以小批量地方式读入数据，然后预处理，然后送到网络，之后释放内存，以此循环。 1. 方法的简要说明 tf.keras中有一个高度封装的图片预处理类：ImageDataGenerat 阅读全文