05 2023 档案

摘要:VIT在归纳偏置方面存在空间相关性和信道表示的多样性两大缺陷。所以论文提出了动态混合视觉变压器(DHVT)来增强这两种感应偏差。 在空间方面,采用混合结构,将卷积集成到补丁嵌入和多层感知器模块中,迫使模型捕获令牌特征及其相邻特征。 在信道方面,引入了MLP中的动态特征聚合模块和多头注意力模块中全新的 阅读全文
posted @ 2023-05-31 09:53 deephub 阅读(36) 评论(0) 推荐(0) 编辑
摘要:本文将介绍我们使用高斯混合模型(GMM)算法作为一维数据的平滑和去噪算法。 假设我们想要在音频记录中检测一个特定的人的声音,并获得每个声音片段的时间边界。例如,给定一小时的流,管道预测前10分钟是前景(我们感兴趣的人说话),然后接下来的20分钟是背景(其他人或没有人说话),然后接下来的20分钟是前景 阅读全文
posted @ 2023-05-30 10:29 deephub 阅读(24) 评论(0) 推荐(0) 编辑
摘要:偏度(skewness)是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部(tail)在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质,即数据相对于平均值的分布情况。 有时,正态分布倾向于向一边倾斜。这是因为数据大于或小于平均值的概率更高,因此使得分布不对称。这也意 阅读全文
posted @ 2023-05-29 09:33 deephub 阅读(57) 评论(0) 推荐(0) 编辑
摘要:平均精度(Average Precision,mAP)是一种常用的用于评估目标检测模型性能的指标。在目标检测任务中,模型需要识别图像中的不同目标,并返回它们的边界框(bounding box)和类别。mAP用于综合考虑模型在不同类别上的准确度和召回率。 基本知识 IOU (Intersection 阅读全文
posted @ 2023-05-28 10:10 deephub 阅读(125) 评论(0) 推荐(0) 编辑
摘要:我们以前介绍过Pandas和ChaGPT整合,这样可以不了解Pandas的情况下对DataFrame进行操作。现在又有人开源了Scikit-LLM,它结合了强大的语言模型,如ChatGPT和scikit-learn。但这个并不是让我们自动化scikit-learn,而是将scikit-learn和语 阅读全文
posted @ 2023-05-27 10:06 deephub 阅读(56) 评论(0) 推荐(0) 编辑
摘要:时间序列预测在金融、天气预报、销售预测和需求预测等各个领域发挥着至关重要的作用。PyTorch- forecasting是一个建立在PyTorch之上的开源Python包,专门用于简化和增强时间序列的工作。在本文中我们介绍PyTorch-Forecasting的特性和功能,并进行示例代码演示。 完整 阅读全文
posted @ 2023-05-26 10:04 deephub 阅读(222) 评论(0) 推荐(0) 编辑
摘要:自从ChatGPT火爆以来,各种通用的大型模型层出不穷,GPT4、SAM等等,本周一Meta 又开源了新的语音模型MMS,这个模型号称支持4000多种语言,并且发布了支持1100种语言的预训练模型权重,最主要的是这个模型不仅支持ASR,还支持TTS,也就是说不仅可以语音转文字,还可以文字转语音。 因 阅读全文
posted @ 2023-05-25 10:24 deephub 阅读(44) 评论(0) 推荐(0) 编辑
摘要:Jupyter 笔记本是数据科学家和分析师用于交互式计算、数据可视化和协作的工具。Jupyter 笔记本的基本功能大家都已经很熟悉了,但还有一些鲜为人知的技巧可以大大提高生产力和效率。在这篇文章中,我将介绍10个可以提升体验的高级技巧。 完整文章: https://avoid.overfit.cn/ 阅读全文
posted @ 2023-05-24 10:08 deephub 阅读(85) 评论(0) 推荐(0) 编辑
摘要:PyTorch 2.0 发布也有一段时间了,大家是不是已经开始用了呢? PyTorch 2.0 通过引入 torch.compile,可以显着提高训练和推理速度。 与 eagerly 模式相反,编译 API 将模型转换为中间计算图(FX graph),然后以某种方式将其编译为低级计算内核,这样可以提 阅读全文
posted @ 2023-05-23 10:42 deephub 阅读(88) 评论(0) 推荐(0) 编辑
摘要:GMAC 代表“Giga Multiply-Add Operations per Second”(每秒千兆乘法累加运算),是用于衡量深度学习模型计算效率的指标。它表示每秒在模型中执行的乘法累加运算的数量,以每秒十亿 (giga) 表示。 乘法累加 (MAC) 运算是许多数学计算中的基本运算,包括矩阵 阅读全文
posted @ 2023-05-22 09:57 deephub 阅读(238) 评论(0) 推荐(0) 编辑
摘要:NSFW指的是 不适宜工作场所("Not Safe (or Suitable) For Work;")。在本文中,将介绍如何创建一个检测NSFW图像的图像分类模型。 完整文章 https://avoid.overfit.cn/post/8f681841d02e4a8db7bcf77926e123f1 阅读全文
posted @ 2023-05-21 10:03 deephub 阅读(652) 评论(0) 推荐(0) 编辑
摘要:视频理解任务最基础也是最主要的预处理任务是图像帧的提取。因为在视频理解任务中,视频可以看作是由一系列连续的图像帧组成的。因此,要对视频进行理解和分析,首先需要从视频中提取出每一帧的图像。 图像帧的提取是视频理解任务的基础,因为后续的处理和分析都是基于单独的图像帧进行的。每一帧都代表了视频中的一个时间 阅读全文
posted @ 2023-05-20 09:50 deephub 阅读(224) 评论(0) 推荐(0) 编辑
摘要:Langchain可以帮助开发人员构建由大型语言模型(llm)支持的应用程序。它提供一个框架将LLM与其他数据源(如互联网或个人文件)连接起来。这允许开发人员将多个命令链接在一起,以创建更复杂的应用程序。包括最近比较火爆的AutoGPT等都是使用了Langchain框架进行开发的。所以本文将介绍如何 阅读全文
posted @ 2023-05-19 10:10 deephub 阅读(219) 评论(0) 推荐(0) 编辑
摘要:对于大型模型来说,重新训练所有模型参数的全微调变得不可行。比如GPT-3 175B,模型包含175B个参数吗,无论是微调训练和模型部署,都是不可能的事。所以Microsoft 提出了低秩自适应(Low-Rank Adaptation, LoRA),它冻结了预先训练好的模型权重,并将可训练的秩的分解矩 阅读全文
posted @ 2023-05-18 09:53 deephub 阅读(204) 评论(0) 推荐(0) 编辑
摘要:GitHub Copilot 是一款由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它是一种基于机器学习的代码自动完成工具,旨在帮助开发人员更高效地编写代码。 GitHub Copilot Chat是GitHub Copilot的一部分,它是一个基于人工智能的编程助手,由OpenAI 阅读全文
posted @ 2023-05-17 10:41 deephub 阅读(116) 评论(0) 推荐(0) 编辑
摘要:LayerNorm 一直是 Transformer 架构的重要组成部分。如果问大多人为什么要 LayerNorm,一般的回答是:使用 LayerNorm 来归一化前向传播的激活和反向传播的梯度。 其实这只是部分正确:Brody、Alon 和 Yahav 的一篇题为“On the Expressivi 阅读全文
posted @ 2023-05-16 09:55 deephub 阅读(43) 评论(0) 推荐(0) 编辑
摘要:数据汇总是一个将原始数据简化为其主要成分或特征的过程,使其更容易理解、可视化和分析。本文介绍总结数据的七种重要方法,有助于理解数据实质的内容。 1、集中趋势:平均值,中位数,众数 集中趋势是一种统计测量,目的是确认最典型的个体,找到最能够代表整个组的单个数值。它可以提供对数据集中“典型”数据点的准确 阅读全文
posted @ 2023-05-15 09:48 deephub 阅读(46) 评论(0) 推荐(0) 编辑
摘要:鲁棒主成分分析(Robust Principal Component Analysis, RobustPCA)是一种将时间序列矩阵分解为低秩分量和稀疏分量的技术。这种分解能够识别潜在的趋势,以及检测异常和异常值。在本中我们将研究RobustPCA的数学基础,介绍它与传统的PCA之间的区别,并提供可视 阅读全文
posted @ 2023-05-14 09:14 deephub 阅读(60) 评论(0) 推荐(0) 编辑
摘要:如果你对自监督学习感兴趣,可能听说过Facebook人工智能的DINO(无标签知识蒸馏)。我们在以前的文章中也介绍过它。DINOv2不仅是一个新版本而且带来了新的改进,并为判别性自监督学习设定了更高的标准。当然公司的名字也从Facebook变为了Meta。 本文将介绍DINOv2是如何改进的,以及这 阅读全文
posted @ 2023-05-13 09:44 deephub 阅读(342) 评论(0) 推荐(0) 编辑
摘要:形态学是图像处理领域的一个分支,主要用于描述和处理图像中的形状和结构。形态学可以用于提取图像中的特征、消除噪声、改变图像的形状等。其中形态学的核心操作是形态学运算。 形态学运算是一种基于形状的图像处理技术,它是通过结构元素与图像进行特定运算的方式来改变图像的形态和特征。结构元素是一种小型、预定义的形 阅读全文
posted @ 2023-05-12 09:53 deephub 阅读(62) 评论(0) 推荐(0) 编辑
摘要:Softmax是一种数学函数,通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数,可以将一组任意的实数值转化为在[0, 1]之间的概率值,因为softmax将它们转换为0到1之间的值,所以它们可以被解释为概率。如果其中一个输入很小或为负,softmax将其变为小概率,如果输入很 阅读全文
posted @ 2023-05-11 09:58 deephub 阅读(34) 评论(0) 推荐(0) 编辑
摘要:在本文中,我们将介绍在 Reacher 环境中训练智能代理控制双关节机械臂,这是一种使用 Unity ML-Agents 工具包开发的基于 Unity 的模拟程序。 我们的目标是高精度的到达目标位置,所以这里我们可以使用专为连续状态和动作空间设计的最先进的Deep Deterministic Pol 阅读全文
posted @ 2023-05-10 10:29 deephub 阅读(113) 评论(0) 推荐(0) 编辑
摘要:人工智能已成为近年来最受关注的话题之一,由于神经网络的发展,曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成,人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理 阅读全文
posted @ 2023-05-09 10:42 deephub 阅读(22) 评论(0) 推荐(0) 编辑
摘要:语言模型(LM)在NLP领域的发展速度非常快,特别是在大型语言模型(LLM)方面:当语言模型具有大量参数或权重/系数时,它们被称为“大型”。这些“大型”语言模型拥有处理和理解大量自然语言数据的能力。 LLM被用于一系列自然语言任务,如文本摘要、情感分析、主题分类、语言翻译、自动完成等。扩展LM的一些 阅读全文
posted @ 2023-05-08 09:50 deephub 阅读(79) 评论(0) 推荐(0) 编辑
摘要:UNeXt是约翰霍普金斯大学在2022年发布的论文。它在早期阶段使用卷积,在潜在空间阶段使用 MLP。通过一个标记化的 MLP 块来标记和投影卷积特征,并使用 MLP 对表示进行建模。对输入通道进行移位,可以专注于学习局部依赖性。 UNeXt 完整文章: https://avoid.overfit. 阅读全文
posted @ 2023-05-07 09:13 deephub 阅读(99) 评论(0) 推荐(0) 编辑
摘要:k近邻算法KNN是一种简单而强大的算法,可用于分类和回归任务。他实现简单,主要依赖不同的距离度量来判断向量间的区别,但是有很多距离度量可以使用,所以本文演示了KNN与三种不同距离度量(Euclidean、Minkowski和Manhattan)的使用。 KNN算法概述 KNN是一种惰性、基于实例的算 阅读全文
posted @ 2023-05-06 09:35 deephub 阅读(40) 评论(0) 推荐(0) 编辑
摘要:Python Pandas是一个为Python编程提供数据操作和分析功能的开源工具包。这个库已经成为数据科学家和分析师的必备工具。它提供了一种有效的方法来管理结构化数据(Series和DataFrame)。 在人工智能领域,Pandas经常用于机器学习和深度学习过程的预处理步骤。Pandas通过提供 阅读全文
posted @ 2023-05-05 09:40 deephub 阅读(35) 评论(0) 推荐(0) 编辑
摘要:VLAD Diffusion 是我们前面介绍过的 AUTOMATIC1111/stable-diffusion-webui的一个定制的更新,它主要是为了更频繁发布的更新和错误修复。它包含 新的安装程序,并且提供了高级CUDA调优 不在依赖Accelerate,因为Accelerate是分布式的,并且 阅读全文
posted @ 2023-05-04 10:23 deephub 阅读(153) 评论(0) 推荐(0) 编辑
摘要:余弦相似性是一种用于计算两个向量之间相似度的方法,常被用于文本分类和信息检索领域。具体来说,假设有两个向量A和B,它们的余弦相似度可以通过以下公式计算: 其中,dot_product(A, B)表示向量A和B的点积,norm(A)和norm(B)分别表示向量A和B的范数。如果A和B越相似,它们的余弦 阅读全文
posted @ 2023-05-03 09:11 deephub 阅读(15) 评论(0) 推荐(0) 编辑
摘要:图像分割是医学图像分析中最重要的任务之一,在许多临床应用中往往是第一步也是最关键的一步。在脑MRI分析中,图像分割通常用于测量和可视化解剖结构,分析大脑变化,描绘病理区域以及手术计划和图像引导干预,分割是大多数形态学分析的先决条件。 本文我们将介绍如何使用QuickNAT对人脑的图像进行分割。使用M 阅读全文
posted @ 2023-05-02 10:34 deephub 阅读(207) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示