随笔分类 - 深度学习
摘要：看到DeepSeek-V3使用了多token预测（Multi-token Prediction, MTP）技术，该技术原始论文是由Meta 发在ICML 2024的一篇Poster。 论文： [2404.19737] Better & Faster Large Language Models via
阅读全文
摘要：Generalist AI (AGI) framework based on the principles of embodiment, grounding, causality and memory 图：通用 AGI 系统的功能框图。概念模型由以下部分组成：（1）核心框架、体现，提供与世界接口和交
阅读全文
摘要：类型 主要功能 在LLMs中的实现方法 感官记忆 短暂存储感官信息以供认知系统访问。 缓冲输入/输出系统；感官输入的锁存机制；仿生感官记忆技术。 作为一种缓冲机制，允许认知处理组件在不同速度下工作而不丢失信息。 过滤信息（例如，通过注意机制）以供长期存储。 在线记忆 暂时存储活跃信息以支持认知处理。
阅读全文
摘要：符号嵌入问题（Symbol Grounding Problem）是认知科学、心灵哲学和人工智能中的一个关键问题。它探讨的是符号（或词语）是如何在一个系统中获得意义的。换句话说，抽象符号（如单词或概念）是如何代表现实世界中的对象、行为或经验的？ 关键概念 符号表示：指的是将意义编码为抽象符号的理念，例
阅读全文
摘要：空间思考：多模态大型语言模型如何看待、记忆和回忆空间 VSI-Bench：我们引入了一个高质量的基准，用于评估 MLLM 的 3D、基于视频的视觉空间智能 评估：我们在开源和闭源 MLLM 上对 VSI-Bench 进行了评估，发现 MLLM 表现出有竞争力的（尽管不如人类）视觉空间智能。 语言分析
阅读全文
摘要：与主要专注于文本生成和回复的传统 LLMs 不同，LAMs 旨在在物理和数字环境中执行动作。 核心观点 LAMs 是 AI 发展的重要方向，能够将 AI 从被动语言理解转变为主动任务完成，在人工智能发展进程中具有重要意义。 LAMs 通过在物理和数字环境中执行动作，实现了从语言交互到实际行动的跨越，
阅读全文
摘要：lumo 是一个精简高效的库，简化了实验所需的所有组件的管理，并特别关注增强深度学习实践者的体验。 实验管理：: 为每次运行分配唯一路径，区分不同类型的文件并存储；通过 git 管理代码快照；记录实验中产生的一切信息，保障可回溯、可复现 参数管理：基于 fire 提供比 argparser 更便捷的
阅读全文
摘要：PyTorch已经足够简单易用，但是简单易用不等于方便快捷。特别是做大量实验的时候，很多东西都会变得复杂，代码也会变得庞大，这时候就容易出错。针对这个问题，就有了PyTorch Lightning。它可以重构你的PyTorch代码，抽出复杂重复部分，让你专注于核心的构建，让你的实验更快速更便捷地开展
阅读全文
摘要：我们介绍了一种名为可组合扩散（CoDi）的新型生成模型，能够从任意输入模态的任意组合中生成任意组合的输出模态，例如语言、图像、视频或音频。与现有的生成人工智能系统不同，CoDi能够同时生成多个模态，并且其输入不限于文本或图像等子集模态。尽管许多模态组合缺乏训练数据集，我们提出在输入和输出空间中对模态
阅读全文
摘要：NVIDIA Performance Primitives GPU 上的图像和信号处理 NVIDIA Performance Primitives (NPP) 库提供 GPU 加速的图像、视频和信号处理函数，其执行速度比仅使用 CPU 的实现快 30 倍。借助超过 5,000 个用于图像和信号处理的
阅读全文
摘要：并行智能是现实与虚拟现实之间的交互。这是一个复杂的概念，已被应用于许多领域，包括智能交通、艺术创作、计算机视觉和智能传感器。 并行智能最早由王飞跃于2004年提出，用于构建可用于验证社会政策、经济战略和军事行动的人工系统。 论文地址： https://ieeexplore.ieee.org/docu
阅读全文
摘要：一、 计算量常使用乘加计算数衡量，英文为multiply-accumulate operations或multiply-add operations，因此常缩写为MACs, MACC或MADD。由于乘加计算的底层是通过浮点运算实现的，因此还可使用浮点运算数来表示计算量。浮点计算数，英文为Float
阅读全文
摘要：正则化：批量归一化和dropout 批量归一化和dropout作为正则化器来克服深度学习模型中的过度拟合问题。 来源 您遇到过导致过拟合的大型数据集吗？ 过度拟合的原因之一是网络中的权重很大。具有较大网络权重的网络可能是网络不稳定的标志，其中输入的微小变化可能导致输出发生较大变化。这个问题的解决方案
阅读全文
摘要：根据PyTorch文档¹，`t.contiguous()`返回一个包含与`t`张量相同数据的连续张量。如果`t`张量已经是连续的，这个函数返回`t`张量本身。 一个张量是连续的，如果张量中的相邻元素在内存中实际上是相邻的³。有些对张量的操作，例如`transpose()`，`permute()`，`
阅读全文
摘要：一、简介 NVIDIA Collective Communications Library (NCCL) 是一个多 GPU 和多节点通信原语库，具有拓扑感知能力，可以轻松集成到应用程序中。 集体通信算法采用许多协同工作的处理器来聚合数据。 NCCL 不是成熟的并行编程框架； 相反，它是一个专注于加速
阅读全文
摘要：Pytorch DDP分布式训练介绍 近期一直在用torch的分布式训练，本文调研了目前Pytorch的分布式并行训练常使用DDP模式(Distributed DataParallell )，从基本概念，初始化启动，以及第三方的分布式训练框架展开介绍。最后以一个Bert情感分类给出完整的代码例子：t
阅读全文
摘要：一、rendezvous 简介： PyTorch中的rendezvous后端是一种服务，它帮助分布式训练作业中的进程相互发现并协商角色和等级。它还提供了一个屏障和一个一致的作业成员和状态视图。 rendezvous后端是作为torch.distributed.elastic.rendezvous.R
阅读全文
摘要：You can use Replicate to run machine learning models in the cloud from your own code, without having to set up any servers. Our community has publishe
阅读全文
摘要：零样本学习是一种机器学习的问题设置，其中模型可以对从未在训练过程中见过的类别的样本进行分类，使用一些形式的辅助信息来关联已见和未见的类别。例如，一个模型可以根据动物的文本描述来识别动物，即使它从未见过那些动物的图像。 实现零样本学习有不同的方法，取决于辅助信息的类型和学习方法。以下是一些例子： 一种
阅读全文
摘要：Mask concavity： 在语义分割问题中，mask凹度是指形状或物体的**凹陷程度**的术语。 它的计算方法是从mask凸包（convex hull）的**面积**中减去mask的**面积**并除以后者。 凸包是包含掩码的最小凸形。 ¹² mask凹度的范围可以从 0 到 1，其中 0 表示
阅读全文