10 2022 档案

摘要:装饰器是 python 上下文管理器的特定实现。本片文章将通过一个pytorch GPU 调试的示例来说明如何使用它们。虽然它可能不适用于所有情况,但我它们却是非常有用。 调试内存泄漏问题 有很多方法可以调试内存泄漏。本文将展示一种识别代码中有问题的行的有用方法。该方法可以有助于以简洁的方式找到具体 阅读全文
posted @ 2022-10-31 11:31 deephub 阅读(29) 评论(0) 推荐(0) 编辑
摘要:近年来,基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集,包含1000种不同的对象分类,现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程,标记训练数据的可用性对它们有重大影响,并且模型能够检测到的类别也仅限于它们接受训练的类。 阅读全文
posted @ 2022-10-30 10:56 deephub 阅读(257) 评论(0) 推荐(0) 编辑
摘要:对许多人来说,贝叶斯统计仍然有些陌生。因为贝叶斯统计中会有一些主观的先验,在没有测试数据的支持下了解他的理论还是有一些困难的。本文整理的是作者最近在普林斯顿的一个研讨会上做的演讲幻灯片,这样可以阐明为什么贝叶斯方法不仅在逻辑上是合理的,而且使用起来也很简单。这里将以三种不同的方式实现相同的推理问题。 阅读全文
posted @ 2022-10-29 11:13 deephub 阅读(119) 评论(0) 推荐(0) 编辑
摘要:距离度量是有监督和无监督学习算法的基础,包括k近邻、支持向量机和k均值聚类等。 距离度量的选择影响我们的机器学习结果,因此考虑哪种度量最适合这个问题是很重要的。因此,我们在决定使用哪种测量方法时应该谨慎。但在做出决定之前,我们需要了解距离测量是如何工作的,以及我们可以从哪些测量中进行选择。 本文将简 阅读全文
posted @ 2022-10-28 11:12 deephub 阅读(72) 评论(0) 推荐(0) 编辑
摘要:在pytorch中的多GPU训练一般有2种DataParallel(DP)和DistributedDataParallel(DDP) ,DataParallel是最简单的的单机多卡实现,但是它使用多线程模型,并不能够在多机多卡的环境下使用,所以本文将介绍DistributedDataParallel 阅读全文
posted @ 2022-10-27 10:20 deephub 阅读(56) 评论(0) 推荐(0) 编辑
摘要:深度学习 (DL) 已成为计算机科学中最具影响力的领域之一,直接影响着当今人类生活和社会。与历史上所有其他技术创新一样,深度学习也被用于一些违法的行为。Deepfakes 就是这样一种深度学习应用,在过去的几年里已经进行了数百项研究,发明和优化各种使用 AI 的 Deepfake 检测,本文主要就是 阅读全文
posted @ 2022-10-26 10:34 deephub 阅读(311) 评论(0) 推荐(0) 编辑
摘要:机器学习或深度学习模型的训练的目标是成为“通用”模型。这就需要模型没有过度拟合训练数据集,或者换句话说,我们的模型对看不见的数据有很好的了解。数据增强也是避免过度拟合的众多方法之一。 扩展用于训练模型的数据量的过程称为数据增强。通过训练具有多种数据类型的模型,我们可以获得更“泛化”的模型。“多种数据 阅读全文
posted @ 2022-10-25 10:43 deephub 阅读(133) 评论(0) 推荐(0) 编辑
摘要:EDA 是数据科学工作流程的关键步骤,Pandas-profiling可以通过一行代码快速完成EDA报告,并且能够提供有意义的见解。 在我们上次介绍EDA工具时,一直将Pandas Profiling用作处理结构化表格数据的工具。但是在现实世界的应用中,我们日常生活中最长接触到的是时间序列数据:日常 阅读全文
posted @ 2022-10-24 12:25 deephub 阅读(38) 评论(0) 推荐(0) 编辑
摘要:一般情况下k-Nearest Neighbor (KNN)都是用来解决分类的问题,其实KNN是一种可以应用于数据分类和预测的简单算法,本文中我们将它与简单的线性回归进行比较。 KNN模型是一个简单的模型,可以用于回归和分类任务。大部分的机器学习算法都是用它的名字来描述的KNN也是一样,使用一个空间来 阅读全文
posted @ 2022-10-23 11:28 deephub 阅读(130) 评论(0) 推荐(0) 编辑
摘要:GPU 计算与 CPU 相比能够快多少?在本文中,我将使用 Python 和 PyTorch 线性变换函数对其进行测试。 以下是测试机配置: CPU:英特尔 i7 6700k (4c/8t) GPU:RTX 3070 TI(6,144 个 CUDA 核心和 192 个 Tensor 核心) 内存:3 阅读全文
posted @ 2022-10-22 11:10 deephub 阅读(158) 评论(0) 推荐(0) 编辑
摘要:使用基于BERT的构建基于协同过滤的推荐模型 基于编码器的自注意力Transformer非常擅长预测自然语言生成任务的下一个字符,因为它们可以注意到给定字符周围的标记/字符的重要性。为什么我们不能应用这个概念来预测任何用户喜欢的给定物品序列中的下一个项目呢?这种推荐问题可以归类为基于物品的协同过滤。 阅读全文
posted @ 2022-10-21 12:53 deephub 阅读(153) 评论(0) 推荐(0) 编辑
摘要:AudioLM 是 Google 的新模型,能够生成与提示风格相同的音乐。该模型还能够生成复杂的声音,例如钢琴音乐或人的对话。结果是它似乎与原版没有区别,这是十分让人惊讶的。 为什么生成音乐如此困难? 创作音乐并不是一件容易的事。生成音频信号(音乐、环境声音、人的讲话)需要多尺度的抽象。例如,音乐的 阅读全文
posted @ 2022-10-20 12:15 deephub 阅读(99) 评论(0) 推荐(0) 编辑
摘要:pandas是数据科学家必备的数据处理库,我们今天总结了10个在实际应用中肯定会用到的技巧 1、Select from table where f1=’a’ and f2=’b’ 使用AND或OR选择子集 dfb = df.loc[(df.Week == week) & (df.Day == day 阅读全文
posted @ 2022-10-19 13:44 deephub 阅读(21) 评论(0) 推荐(0) 编辑
摘要:持续学习是指在不忘记从前面的任务中获得的知识的情况下,按顺序学习大量任务的模型。这是一个重要的概念,因为在监督学习的前提下,机器学习模型被训练为针对给定数据集或数据分布的最佳函数。而在现实环境中,数据很少是静态的,可能会发生变化。当面对不可见的数据时,典型的ML模型可能会性能下降。这种现象被称为灾难 阅读全文
posted @ 2022-10-18 11:46 deephub 阅读(471) 评论(0) 推荐(0) 编辑
摘要:神经网络在训练时的优化首先是对模型的当前状态进行误差估计,然后为了减少下一次评估的误差,需要使用一个能够表示错误函数对权重进行更新,这个函数被称为损失函数。 损失函数的选择与神经网络模型从示例中学习的特定预测建模问题(例如分类或回归)有关。在本文中我们将介绍常用的一些损失函数,包括: 回归模型的均方 阅读全文
posted @ 2022-10-17 12:22 deephub 阅读(28) 评论(0) 推荐(0) 编辑
摘要:什么是图像描述 图像描述是生成图像文本描述的过程。它使用自然语言处理和计算机视觉来为图像生成描述的文本字幕。一幅图像可以有很多个不同的描述,但是只要它正确地描述了图像,并且描述涵盖了图像中的大部分信息就可以说是没问题的。下面是示例图片和生成的描述文字。 放射学中的图像描述 放射学也称为诊断成像,是一 阅读全文
posted @ 2022-10-16 12:49 deephub 阅读(125) 评论(0) 推荐(0) 编辑
摘要:假设我们从未知分布 q 中观察到 N 个独立且同分布的 (iid) 样本 X = (x1, ... , xN)。统计学中的一个典型问题是“样本集 X 能告诉我们关于分布 q 的什么信息?”。 参数统计方法假设 q 属于一个参数分布族,并且存在一个参数 θ,其中 q(x) 等于所有 x 的参数分布 p 阅读全文
posted @ 2022-10-15 12:09 deephub 阅读(60) 评论(0) 推荐(0) 编辑
摘要:标签传播算法是一种半监督机器学习算法,它将标签分配给以前未标记的数据点。要在机器学习中使用这种算法,只有一小部分示例具有标签或分类。在算法的建模、拟合和预测过程中,这些标签被传播到未标记的数据点。 完整文章: https://avoid.overfit.cn/post/928d67bc5c9146e 阅读全文
posted @ 2022-10-14 11:10 deephub 阅读(63) 评论(0) 推荐(0) 编辑
摘要:通过应用软件工程最佳实践,可以交付质量更好数据科学的项目。更好的质量可能是更少的错误、可靠的结果和更高的编码效率。 最佳实践都是从错误中总结出来的,所以这里我们总结了一些遇到的最常见的错误,并提供了如何最好地解决这些错误的方法、想法和资源。 完整文章: https://avoid.overfit.c 阅读全文
posted @ 2022-10-13 11:00 deephub 阅读(19) 评论(0) 推荐(0) 编辑
摘要:在研究自注意力时,有很多的名词需要我们着重的关注,比如填充掩码,前瞻掩码等等,但网上没有太多注意力掩码的教程和它是如何工作的信息,另外还有以下的细节需要详细的解释: 为什么要对多个层应用注意力掩码?、 为什么不沿键和查询应用注意力掩码? 键、查询和值权重是否混淆了原始矩阵的序列顺序? 所以本篇文章将 阅读全文
posted @ 2022-10-12 13:01 deephub 阅读(73) 评论(0) 推荐(0) 编辑
摘要:金融市场的时间序列数据是出了名的杂乱,并且很难处理。这也是为什么人们都对金融数学领域如此有趣的部分原因! 我们可以用来更好地理解趋势(或帮助模式识别/预测算法)的一种方法是时间序列平滑。以下传统的方法: 移动平均线——简单、容易、有效(但会给时间序列数据一个“滞后”的观测),Savitzky-Gol 阅读全文
posted @ 2022-10-11 13:29 deephub 阅读(107) 评论(0) 推荐(0) 编辑
摘要:时间序列是数据点的序列,通常由在一段时间间隔内进行的连续测量组成。时间序列分析是使用统计技术对时间序列数据进行建模和分析,以便从中提取有意义的信息并做出预测的过程。 时间序列分析是一个强大的工具,可以用来从数据中提取有价值的信息,并对未来的事件做出预测。它可以用来识别趋势、季节模式和变量之间的其他关 阅读全文
posted @ 2022-10-10 10:29 deephub 阅读(122) 评论(0) 推荐(0) 编辑
摘要:图神经网络(Graph Neural Networks)是一种针对图结构数据(如社交图、网络安全网络或分子表示)设计的机器学习算法。它在过去几年里发展迅速,被用于许多不同的应用程序。在这篇文章中我们将回顾GNN的基础知识,然后使用Pytorch Geometric解决一些常见的主要问题,并讨论一些算 阅读全文
posted @ 2022-10-09 10:16 deephub 阅读(455) 评论(0) 推荐(0) 编辑
摘要:1、Heterogeneous Graph Masked Autoencoders Yijun Tian, Kaiwen Dong, Chunhui Zhang, Chuxu Zhang, Nitesh V. Chawla https://arxiv.org/pdf/2208.09957 生成式自监 阅读全文
posted @ 2022-10-08 10:59 deephub 阅读(130) 评论(0) 推荐(0) 编辑
摘要:机器学习是人工智能的一个分支领域,致力于构建自动学习和自适应的系统,它利用统计模型来可视化、分析和预测数据。一个通用的机器学习模型包括一个数据集(用于训练模型)和一个算法(从数据学习)。但是有些模型的准确性通常很低产生的结果也不太准确,克服这个问题的最简单的解决方案之一是在机器学习模型上使用集成学习 阅读全文
posted @ 2022-10-07 13:45 deephub 阅读(106) 评论(0) 推荐(0) 编辑
摘要:当涉及大量数据时,Pandas 可以有效地处理数据。但是它使用CPU 进行计算操作。该过程可以通过并行处理加快,但处理大量数据仍然效率不高。 在以前过去,GPU 主要用于渲染视频和玩游戏。但是现在随着技术的进步大多数大型项目都依赖 GPU 支持,因为它具有提升深度学习算法的潜力。 Nvidia的开源 阅读全文
posted @ 2022-10-06 14:06 deephub 阅读(235) 评论(0) 推荐(0) 编辑
摘要:时间序列是由表示时间的x轴和表示数据值的y轴组成,使用折线图在显示数据随时间推移的进展时很常见。它在提取诸如趋势和季节性影响等信息方面有一些好处。 但是在处理超长的时间轴时有一个问题。尽管使用数据可视化工具可以很容易地将长时间序列数据拟合到绘图区域中,但结果可能会很混乱。让我们比较一下下面的两个示例 阅读全文
posted @ 2022-10-05 12:12 deephub 阅读(125) 评论(0) 推荐(0) 编辑
摘要:在Ian Goodfellow和其他研究人员在一篇论文中介绍生成对抗网络两年后,Yann LeCun称对抗训练是“过去十年里ML最有趣的想法”。尽管GANs很有趣,也很有前途,但它只是生成模型家族的一部分,是从完全不同的角度解决传统AI问题,在本文中我们将对比常见的三种生成模型。 生成算法 当我们想 阅读全文
posted @ 2022-10-04 10:49 deephub 阅读(214) 评论(0) 推荐(0) 编辑
摘要:Vision Transformer和MLP-Mixer是深度学习领域最新的两个体系结构。他们在各种视觉任务中都非常成功。视觉Vision Transformer的性能略好于MLP-Mixers,但更复杂。但是这两个模型非常相似,只有微小的区别。本文中将对两个模型中的组件进行联系和对比,说明了它们的 阅读全文
posted @ 2022-10-03 09:59 deephub 阅读(243) 评论(0) 推荐(0) 编辑
摘要:对于数据科学,Python通常被广泛地用于进行数据的处理和转换,它提供了强大的数据结构处理的函数,使数据处理更加灵活,这里说的“灵活性”是什么意思? 这意味着在Python中总是有多种方法来实现相同的结果,我们总是有不同的方法并且需要从中选择易于使用、省时并能更好控制的方法。 要掌握所有的这些方法是 阅读全文
posted @ 2022-10-02 11:49 deephub 阅读(16) 评论(0) 推荐(0) 编辑
摘要:1、伯努利试验与二项分布的区别 伯努利试验仅指单个试验,而二项分布指多个伯努利试验。伯努利有两种可能的结果:成功和失败。 2、你需要采取那些步骤进行抽样才能正确推断总体 样本是随机选择的,需要无偏差地反映所有可满足的状态。如果有偏差则偏差也需要是最小的。 3、为什么我们必须使用推论统计而不是描述统计 阅读全文
posted @ 2022-10-01 12:15 deephub 阅读(30) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示