摘要：
在pytorch中的多GPU训练一般有2种DataParallel（DP）和DistributedDataParallel（DDP） ，DataParallel是最简单的的单机多卡实现，但是它使用多线程模型，并不能够在多机多卡的环境下使用，所以本文将介绍DistributedDataParallel 阅读全文
摘要：
深度学习 (DL) 已成为计算机科学中最具影响力的领域之一，直接影响着当今人类生活和社会。与历史上所有其他技术创新一样，深度学习也被用于一些违法的行为。Deepfakes 就是这样一种深度学习应用，在过去的几年里已经进行了数百项研究，发明和优化各种使用 AI 的 Deepfake 检测，本文主要就是 阅读全文
摘要：
机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集，或者换句话说，我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。 扩展用于训练模型的数据量的过程称为数据增强。通过训练具有多种数据类型的模型，我们可以获得更“泛化”的模型。“多种数据 阅读全文
摘要：
EDA 是数据科学工作流程的关键步骤，Pandas-profiling可以通过一行代码快速完成EDA报告，并且能够提供有意义的见解。 在我们上次介绍EDA工具时，一直将Pandas Profiling用作处理结构化表格数据的工具。但是在现实世界的应用中，我们日常生活中最长接触到的是时间序列数据：日常 阅读全文
摘要：
一般情况下k-Nearest Neighbor (KNN)都是用来解决分类的问题，其实KNN是一种可以应用于数据分类和预测的简单算法，本文中我们将它与简单的线性回归进行比较。 KNN模型是一个简单的模型，可以用于回归和分类任务。大部分的机器学习算法都是用它的名字来描述的KNN也是一样，使用一个空间来 阅读全文
摘要：
GPU 计算与 CPU 相比能够快多少？在本文中，我将使用 Python 和 PyTorch 线性变换函数对其进行测试。 以下是测试机配置： CPU：英特尔 i7 6700k (4c/8t) GPU：RTX 3070 TI（6,144 个 CUDA 核心和 192 个 Tensor 核心） 内存：3 阅读全文
摘要：
使用基于BERT的构建基于协同过滤的推荐模型 基于编码器的自注意力Transformer非常擅长预测自然语言生成任务的下一个字符，因为它们可以注意到给定字符周围的标记/字符的重要性。为什么我们不能应用这个概念来预测任何用户喜欢的给定物品序列中的下一个项目呢?这种推荐问题可以归类为基于物品的协同过滤。 阅读全文
摘要：
AudioLM 是 Google 的新模型，能够生成与提示风格相同的音乐。该模型还能够生成复杂的声音，例如钢琴音乐或人的对话。结果是它似乎与原版没有区别，这是十分让人惊讶的。 为什么生成音乐如此困难? 创作音乐并不是一件容易的事。生成音频信号（音乐、环境声音、人的讲话）需要多尺度的抽象。例如，音乐的 阅读全文
摘要：
pandas是数据科学家必备的数据处理库，我们今天总结了10个在实际应用中肯定会用到的技巧 1、Select from table where f1=’a’ and f2=’b’ 使用AND或OR选择子集 dfb = df.loc[(df.Week == week) & (df.Day == day 阅读全文
摘要：
持续学习是指在不忘记从前面的任务中获得的知识的情况下，按顺序学习大量任务的模型。这是一个重要的概念，因为在监督学习的前提下，机器学习模型被训练为针对给定数据集或数据分布的最佳函数。而在现实环境中，数据很少是静态的，可能会发生变化。当面对不可见的数据时，典型的ML模型可能会性能下降。这种现象被称为灾难 阅读全文