摘要：
你一定听说过这句著名的数据科学名言： 在数据科学项目中， 80% 的时间是在做数据处理。 如果你没有听过，那么请记住：数据清洗是数据科学工作流程的基础。机器学习模型会根据你提供的数据执行，混乱的数据会导致性能下降甚至错误的结果，而干净的数据是良好模型性能的先决条件。当然干净的数据并不意味着一直都有好 阅读全文
摘要：
数据的归一化是数据预处理中重要的的一步，很多种方法都可以被称作数据的归一化，例如简单的去除小数位，而更高级归一化技术才能对我们训练有所帮助，例如 z-score 归一化。 所以本文总结了 7 种常见的数据标准化(归一化)的方法。 Decimal place normalization Data ty 阅读全文
摘要：
Batch Augmentation(BA)：提出使用不同的数据增强在同一批次中复制样本实例，通过批次内的增强在达到相同准确性的前提下减少了SGD 更新次数，还可以提高泛化能力。 Batch Augmentation (BA) 没有 BA 的普通SGD： 一个具有损失函数 ℓ (w, xn, yn) 阅读全文
摘要：
就像 20 世纪初，爱因斯坦的 Annus mirabilis 论文成为了量子力学的基础。只是这一次，是 AlexNet 论文 [1]，这是一种挑战计算机视觉的架构，并重新唤起了人们对机器学习（后来转变为深度学习）的兴趣。在过去的十年里，人们见证了机器学习领域革命性的进步，这是无可否认的。 这种巨大 阅读全文
摘要：
对于图像相关的任务，对图像进行旋转、模糊或调整大小是常见的数据增强的方法。 因为图像的自身属性与其他数据类型数据增强相比，图像的数据增强是非常直观的，我们只需要查看图像就可以看到特定图像是如何转换的，并且使用肉眼就能对效果有一个初步的评判结果。 尽管增强在图像域中很常见，但在其他的领域中也是可以进行 阅读全文
摘要：
为梯度提升学习选择默认的特征编码策略需要考虑的两个重要因素是训练时间和与特征表示相关的预测性能。Automunge库是处理表格数据常用的库，它可以填充空值，也可以进行分类的编码和归一化等操作，默认的境况下Automunge对分类特征进行二值化处理，并对数值特征进行z-score归一化。本文将通过对一 阅读全文
摘要：
这篇文章将会详细介绍格拉姆角场 （Gramian Angular Field），并通过代码示例展示“如何将时间序列数据转换为图像”。 Gramian Angular Summation / Difference Fields (GASF / GADF)可以将时间序列转换成图像，这样我们就可以将卷积神 阅读全文
摘要：
在机器学习中，如果我们的样本数量很大，在大多数情况下，首选解决方案是减少样本量、更改算法，或者通过添加更多内存来升级机器。这些方案不仅粗暴，而且可能并不总是可行的。由于大多数机器学习算法都期望数据集（例如常用的 DataFrame）是保存在内存中的对象（因为内存读取要比磁盘读取快不止一个量级），所以 阅读全文
摘要：
孤立森林是 一种无监督算法的异常检测，可以快速检测数据集中的异常值。 孤立森林是一种简单但非常有效的算法，能够非常快速地发现数据集中的异常值。理解这个算法对于处理表格数据的数据科学家来说是必须的，所以在本文中将简要介绍算法背后的理论及其实现。 由于其算法非常的简单并且高效，所以 Scitkit Le 阅读全文
摘要：
对于NLP 爱好者来说HuggingFace肯定不会陌生，因为现在几乎一提到NLP就会有HuggingFace的名字出现，HuggingFace为NLP任务提供了维护了一系列开源库的应用和实现，虽然效率不是最高的，但是它为我们入门和学习提供了非常好的帮助，今天我们来看一下用于NLP任务的数据集总结。 阅读全文