随笔分类 - 深度学习
摘要：lumo 是一个精简高效的库，简化了实验所需的所有组件的管理，并特别关注增强深度学习实践者的体验。 实验管理：: 为每次运行分配唯一路径，区分不同类型的文件并存储；通过 git 管理代码快照；记录实验中产生的一切信息，保障可回溯、可复现 参数管理：基于 fire 提供比 argparser 更便捷的
阅读全文
摘要：PyTorch已经足够简单易用，但是简单易用不等于方便快捷。特别是做大量实验的时候，很多东西都会变得复杂，代码也会变得庞大，这时候就容易出错。针对这个问题，就有了PyTorch Lightning。它可以重构你的PyTorch代码，抽出复杂重复部分，让你专注于核心的构建，让你的实验更快速更便捷地开展
阅读全文
摘要：我们介绍了一种名为可组合扩散（CoDi）的新型生成模型，能够从任意输入模态的任意组合中生成任意组合的输出模态，例如语言、图像、视频或音频。与现有的生成人工智能系统不同，CoDi能够同时生成多个模态，并且其输入不限于文本或图像等子集模态。尽管许多模态组合缺乏训练数据集，我们提出在输入和输出空间中对模态
阅读全文
摘要：NVIDIA Performance Primitives GPU 上的图像和信号处理 NVIDIA Performance Primitives (NPP) 库提供 GPU 加速的图像、视频和信号处理函数，其执行速度比仅使用 CPU 的实现快 30 倍。借助超过 5,000 个用于图像和信号处理的
阅读全文
摘要：并行智能是现实与虚拟现实之间的交互。这是一个复杂的概念，已被应用于许多领域，包括智能交通、艺术创作、计算机视觉和智能传感器。 并行智能最早由王飞跃于2004年提出，用于构建可用于验证社会政策、经济战略和军事行动的人工系统。 论文地址： https://ieeexplore.ieee.org/docu
阅读全文
摘要：一、 计算量常使用乘加计算数衡量，英文为multiply-accumulate operations或multiply-add operations，因此常缩写为MACs, MACC或MADD。由于乘加计算的底层是通过浮点运算实现的，因此还可使用浮点运算数来表示计算量。浮点计算数，英文为Float
阅读全文
摘要：正则化：批量归一化和dropout 批量归一化和dropout作为正则化器来克服深度学习模型中的过度拟合问题。 来源 您遇到过导致过拟合的大型数据集吗？ 过度拟合的原因之一是网络中的权重很大。具有较大网络权重的网络可能是网络不稳定的标志，其中输入的微小变化可能导致输出发生较大变化。这个问题的解决方案
阅读全文
摘要：根据PyTorch文档¹，`t.contiguous()`返回一个包含与`t`张量相同数据的连续张量。如果`t`张量已经是连续的，这个函数返回`t`张量本身。 一个张量是连续的，如果张量中的相邻元素在内存中实际上是相邻的³。有些对张量的操作，例如`transpose()`，`permute()`，`
阅读全文
摘要：一、简介 NVIDIA Collective Communications Library (NCCL) 是一个多 GPU 和多节点通信原语库，具有拓扑感知能力，可以轻松集成到应用程序中。 集体通信算法采用许多协同工作的处理器来聚合数据。 NCCL 不是成熟的并行编程框架； 相反，它是一个专注于加速
阅读全文
摘要：Pytorch DDP分布式训练介绍 近期一直在用torch的分布式训练，本文调研了目前Pytorch的分布式并行训练常使用DDP模式(Distributed DataParallell )，从基本概念，初始化启动，以及第三方的分布式训练框架展开介绍。最后以一个Bert情感分类给出完整的代码例子：t
阅读全文
摘要：一、rendezvous 简介： PyTorch中的rendezvous后端是一种服务，它帮助分布式训练作业中的进程相互发现并协商角色和等级。它还提供了一个屏障和一个一致的作业成员和状态视图。 rendezvous后端是作为torch.distributed.elastic.rendezvous.R
阅读全文
摘要：You can use Replicate to run machine learning models in the cloud from your own code, without having to set up any servers. Our community has publishe
阅读全文
摘要：零样本学习是一种机器学习的问题设置，其中模型可以对从未在训练过程中见过的类别的样本进行分类，使用一些形式的辅助信息来关联已见和未见的类别。例如，一个模型可以根据动物的文本描述来识别动物，即使它从未见过那些动物的图像。 实现零样本学习有不同的方法，取决于辅助信息的类型和学习方法。以下是一些例子： 一种
阅读全文
摘要：Mask concavity： 在语义分割问题中，mask凹度是指形状或物体的**凹陷程度**的术语。 它的计算方法是从mask凸包（convex hull）的**面积**中减去mask的**面积**并除以后者。 凸包是包含掩码的最小凸形。 ¹² mask凹度的范围可以从 0 到 1，其中 0 表示
阅读全文
摘要：对比学习是一种机器学习技术，算法学习区分相似和不相似的数据点。对比学习的目标是学习数据的表示，以捕捉不同数据点之间的基本结构和关系。 在对比学习中，算法被训练最大化相似数据点之间的相似度，并最小化不相似数据点之间的相似度。通常的做法是通过训练算法来预测两个数据点是否来自同一类别。 对比学习已经在各种
阅读全文
摘要：软提示是一种通过将数字数据打包到上下文的开头来引导语言模型的输出的方法。 此过程创建了一种额外的训练层，指示您的模型以不同的方式表现。 例如，软提示可以修改 AI 的风格和行为，以匹配文学体裁、虚构世界或特定作者的风格³。 软提示由**基于梯度下降的优化算法**创建——通过对训练数据进行训练，很像训
阅读全文
摘要：[按]：针对迅猛发展并取得本质突破的人工智能，OpenDAI（Open Declaration of AI，开放协议“人工智能宣言”）号召国际上的相关共同体参考1215年的英国《大宪章》/1620年的北美《五月花号公约》/1776年的美国《独立宣言》等，发布开放的、可被不断更新迭代的人工智能宣言，以
阅读全文
摘要：2020 年 6 月 9 日，星期二 作者：Peter J. Liu 和 Yao Zhao，Google Research 软件工程师 学生的任务通常是阅读文档并生成摘要（例如读书报告），以展示阅读理解和写作能力。这种抽象文本摘要是自然语言处理中最具挑战性的任务之一，涉及理解长段落、信息压缩和语
阅读全文
摘要：TensorRT是一个用于高性能深度学习推理的SDK，它可以将已经训练好的网络转换为TensorRT引擎，从而提高推理速度和效率。TensorRT的作用有以下几点¹²： TensorRT可以对网络进行压缩、优化以及运行时部署，并且没有框架的开销。 TensorRT通过合并层、选择最优的卷积核、根据指
阅读全文