随笔分类 - 机器学习
摘要：我们介绍了一种名为可组合扩散（CoDi）的新型生成模型，能够从任意输入模态的任意组合中生成任意组合的输出模态，例如语言、图像、视频或音频。与现有的生成人工智能系统不同，CoDi能够同时生成多个模态，并且其输入不限于文本或图像等子集模态。尽管许多模态组合缺乏训练数据集，我们提出在输入和输出空间中对模态
阅读全文
摘要：并行智能是现实与虚拟现实之间的交互。这是一个复杂的概念，已被应用于许多领域，包括智能交通、艺术创作、计算机视觉和智能传感器。 并行智能最早由王飞跃于2004年提出，用于构建可用于验证社会政策、经济战略和军事行动的人工系统。 论文地址： https://ieeexplore.ieee.org/docu
阅读全文
摘要：正则化：批量归一化和dropout 批量归一化和dropout作为正则化器来克服深度学习模型中的过度拟合问题。 来源 您遇到过导致过拟合的大型数据集吗？ 过度拟合的原因之一是网络中的权重很大。具有较大网络权重的网络可能是网络不稳定的标志，其中输入的微小变化可能导致输出发生较大变化。这个问题的解决方案
阅读全文
摘要：Pytorch DDP分布式训练介绍 近期一直在用torch的分布式训练，本文调研了目前Pytorch的分布式并行训练常使用DDP模式(Distributed DataParallell )，从基本概念，初始化启动，以及第三方的分布式训练框架展开介绍。最后以一个Bert情感分类给出完整的代码例子：t
阅读全文
摘要：一、rendezvous 简介： PyTorch中的rendezvous后端是一种服务，它帮助分布式训练作业中的进程相互发现并协商角色和等级。它还提供了一个屏障和一个一致的作业成员和状态视图。 rendezvous后端是作为torch.distributed.elastic.rendezvous.R
阅读全文
摘要：You can use Replicate to run machine learning models in the cloud from your own code, without having to set up any servers. Our community has publishe
阅读全文
摘要：零样本学习是一种机器学习的问题设置，其中模型可以对从未在训练过程中见过的类别的样本进行分类，使用一些形式的辅助信息来关联已见和未见的类别。例如，一个模型可以根据动物的文本描述来识别动物，即使它从未见过那些动物的图像。 实现零样本学习有不同的方法，取决于辅助信息的类型和学习方法。以下是一些例子： 一种
阅读全文
摘要：AI的一致性问题 (图片来源：维基百科，Kismet robot。) 人工智慧（AI）系统可以应用到很多方面，帮人类解决很多问题。但不论AI的原始目的是什么，万一AI发展出自己的功能或意识，做出预料之外的事，这可能会造成很多严重的后果，例如在很多电影里面变坏的机器人，试图控制人类的电脑等等。所以如何
阅读全文
摘要：对比学习是一种机器学习技术，算法学习区分相似和不相似的数据点。对比学习的目标是学习数据的表示，以捕捉不同数据点之间的基本结构和关系。 在对比学习中，算法被训练最大化相似数据点之间的相似度，并最小化不相似数据点之间的相似度。通常的做法是通过训练算法来预测两个数据点是否来自同一类别。 对比学习已经在各种
阅读全文
摘要：软提示是一种通过将数字数据打包到上下文的开头来引导语言模型的输出的方法。 此过程创建了一种额外的训练层，指示您的模型以不同的方式表现。 例如，软提示可以修改 AI 的风格和行为，以匹配文学体裁、虚构世界或特定作者的风格³。 软提示由**基于梯度下降的优化算法**创建——通过对训练数据进行训练，很像训
阅读全文
摘要：[按]：针对迅猛发展并取得本质突破的人工智能，OpenDAI（Open Declaration of AI，开放协议“人工智能宣言”）号召国际上的相关共同体参考1215年的英国《大宪章》/1620年的北美《五月花号公约》/1776年的美国《独立宣言》等，发布开放的、可被不断更新迭代的人工智能宣言，以
阅读全文
摘要：随着研究和行业转向能够执行大量下游任务的大规模模型，理解赋予模型细微差别的多模态数据集的复杂性迅速增加。对数据集的起源、发展、意图、伦理考虑和演变的清晰和透彻的理解成为负责任和知情部署模型的必要步骤，尤其是那些在面向人的环境和高风险领域中的模型。然而，这种理解的负担往往落在文档的可理解性、简洁性和全
阅读全文
摘要：2023 年 4 月 19 日，星期三 高级研究员 Lauren Wilcox 代表技术、人工智能、社会和文化团队发布 Google 将AI 视为一项基础和变革性技术，最近在生成 AI 技术方面取得了进展，例如LaMDA、PaLM、Imagen、Parti、MusicLM和类似的机器学习 (ML)
阅读全文
摘要：如果说到深度学习中训练数据的记录工具，最先想到应该是TensorBoard(或者TensorBoardX）。不过，相比较TensorBoard而言，Wandb更加的强大，主要体现在以下的几个方面： 复现模型：Wandb更有利于复现模型。这是因为Wandb不仅记录指标，还会记录超参数和代码版本。 自动
阅读全文
摘要：Pytorch图像预处理时，通常使用transforms.Normalize(mean, std)对图像按通道进行标准化，即减去均值，再除以方差。这样做可以加快模型的收敛速度。其中参数mean和std分别表示图像每个通道的均值和方差序列。 Imagenet数据集的均值和方差为：mean=(0.485
阅读全文
摘要：谈谈评价指标中的宏平均和微平均 今天在阅读周志华老师的《机器学习》一书时，看到性能度量这一小节，里面讲到了宏平均和微平均的计算方法，这也是我一直没有很清晰的一个概念，于是在看了之后又查阅了一些资料，但是还是存在一些问题，想和大家分享一下。 （1）召回率、准确率、F值 对于二分类问题，可将样例根据其真
阅读全文
摘要：原文链接：https://zhuanlan.zhihu.com/p/353680367 此篇文章内容源自 Attention Is All You Need，若侵犯版权，请告知本人删帖。 原论文下载地址： https://papers.nips.cc/paper/2017/file/3f5ee243
阅读全文
摘要：Pytroch网络模型：修改参数值，修改参数名，添加参数层，删除参数层 修改参数值 方法1 dict的类型是collecitons.OrderedDict，是一个有序字典，直接将新参数名称和初始值作为键值对插入，然后保存即可。 #修改前 dict = torch.load('./ckpt_dir//
阅读全文
摘要：pytorch 打印模型层的名字的多个方式，以及对应显示，删除最后多个层的两种方式 def forward(self, x, last_cont=None): x = self.model(x) if self.use_dcl: mask = self.Convmask(x) mask = self
阅读全文