摘要：
BERT 模型在自然语言处理领域表现出色，但由于其参数量大、计算复杂度高，推理和训练速度较慢。为提升其性能，可采取以下极致融合优化手段： 模型结构优化 模型剪枝 原理：去除模型中对输出结果影响较小的连接或神经元，精简模型结构。例如，在 BERT 中，某些注意力头可能对整体性能贡献不大，可通过剪枝将其 阅读全文
posted @ 2025-04-15 16:41
lvmxh
阅读(56)
评论(0)
推荐(0)
摘要：
介绍 BERT（Bidirectional Encoder Representations from Transformers）模型是一种预训练的深度学习模型，在自然语言处理领域应用广泛。推理则是指使用训练好的模型对新数据进行预测或处理的过程。以下为你详细介绍 BERT 模型推理的相关内容： 推理前 阅读全文
posted @ 2025-04-15 16:40
lvmxh
阅读(35)
评论(0)
推荐(0)
摘要：
为了帮你理解 AI 技术里的 Attention Sub - Graph: Fused Select，下面我会从 Attention 机制、子图、Fused Select 三个方面通俗介绍。 Attention 机制：信息聚焦的 “放大镜” 在 AI 里，Attention 机制可以理解成一个 “放 阅读全文
posted @ 2025-04-15 16:37
lvmxh
阅读(17)
评论(0)
推荐(0)
摘要：
什么是 Feature Column 在机器学习尤其是深度学习中，我们会处理各种各样的数据，像数字、类别、文本等。Feature Column（特征列）就像是一个 “数据翻译官”，它的作用是把原始数据转换为模型能够理解和处理的格式。比如，类别数据（像水果的种类：苹果、香蕉、橙子）不能直接喂给模型，F 阅读全文
posted @ 2025-04-15 16:35
lvmxh
阅读(2)
评论(0)
推荐(0)
摘要：
在 AI 领域，稀疏性是指数据中大部分元素为零的特性。利用稀疏性进行算子优化可以显著减少计算量和内存占用，提高模型的训练和推理效率。以下是一些常用的稀疏算子优化方法： 稀疏矩阵存储格式优化 CSR（Compressed Sparse Row）格式 原理：将稀疏矩阵按行压缩存储，记录非零元素的值、列索 阅读全文
posted @ 2025-04-15 16:35
lvmxh
阅读(110)
评论(0)
推荐(0)
摘要：
在 AI 领域，Select 算子是一个常用的基础算子，主要用于根据条件从不同的输入中选择元素，从而生成新的张量。以下从功能原理、使用示例、应用场景、优势几个方面为你详细介绍： 功能原理 Select 算子会依据一个布尔类型的条件张量，从两个输入张量里选取元素来构建新的张量。具体而言，当条件张量中的 阅读全文
posted @ 2025-04-15 16:33
lvmxh
阅读(13)
评论(0)
推荐(0)
摘要：
在矩阵计算里，transpose 指的是矩阵转置操作。下面从定义、数学表示、作用和应用场景等方面为你详细介绍： 定义 矩阵转置是一种对矩阵元素位置进行变换的操作。简单来说，就是把矩阵的行和列进行互换。原本矩阵第 i 行第 j 列的元素，在转置后会变成第 j 行第 i 列的元素。 数学表示 如果有一个 阅读全文
posted @ 2025-04-15 16:30
lvmxh
阅读(44)
评论(0)
推荐(0)
摘要：
KCCL（Kunpeng Compute Core Library）和 KAIL_DNN（Kunpeng AI Library for Deep Neural Networks）都是鲲鹏基础加速库中的重要组成部分，二者存在着紧密的协同关系，共同为鲲鹏平台的计算和深度学习应用提供支持，以下为你详细介绍 阅读全文
posted @ 2025-04-15 16:27
lvmxh
阅读(25)
评论(0)
推荐(0)
摘要：
检索算子库是为了方便、高效地进行数据检索操作而构建的一组工具集合，就像是一个装满各种检索 “法宝” 的百宝箱，下面从其作用、包含的常见算子、应用场景三个方面来通俗介绍： 作用 在信息爆炸的时代，我们身边的数据量极其庞大，无论是网页、商品信息、学术文献，还是图片、视频等，都需要有效的检索手段才能快速找 阅读全文
posted @ 2025-04-15 16:26
lvmxh
阅读(18)
评论(0)
推荐(0)
摘要：
PB 文件是一种高效的结构化数据序列化格式，由谷歌开发，具有体积小、解析速度快等优点，广泛应用于数据存储、网络传输等场景3。在机器学习和数据分析领域，常被用于存储模型参数、配置信息或训练数据等3。 “互联网客户模型” 表明文件内容与互联网客户相关的模型有关，比如可能包含客户的特征数据、行为模型、分类 阅读全文
posted @ 2025-04-15 16:19
lvmxh
阅读(3)
评论(0)
推荐(0)
摘要：
Triton 是一款专门用于对机器学习模型进行性能测试和压力测试的软件工具，以下从功能特点、优势和使用场景等方面为你详细介绍： 功能特点 支持多种模型格式：Triton 支持多种常见的机器学习模型格式，如 TensorFlow、PyTorch、ONNX 等。这使得它能够适应不同框架训练出的模型，方便 阅读全文
posted @ 2025-04-15 16:17
lvmxh
阅读(66)
评论(0)
推荐(0)
摘要：
AI算子库 matmul、lookuptablefind、softmax、Concat、Conv和Gather 介绍。 在 AI 领域，算子库是构建和运行深度学习模型的基础，下面为你介绍几个常见 AI 算子的功能、应用场景等信息： matmul（矩阵乘法） 功能：实现两个矩阵的相乘。若矩阵 A 是 阅读全文
posted @ 2025-04-15 16:16
lvmxh
阅读(101)
评论(0)
推荐(0)
摘要：
Gemv 在数学库语境里一般指的是 “General Matrix - Vector multiplication”，即通用矩阵向量乘法，很多数学库都对其进行了实现与优化。下面为你介绍 Gemv 及其相关数学库的情况： Gemv 的定义与用途 定义：Gemv 描述的是一个矩阵和一个向量相乘的运算。若 阅读全文
posted @ 2025-04-15 16:06
lvmxh
阅读(42)
评论(0)
推荐(0)
摘要：
在 AI 领域，NN（融合）算子优化是一种提升神经网络计算效率和性能的关键技术，下面将从其定义、原理、方法、优势和应用场景等方面为你详细介绍。 定义 在神经网络里，一个复杂任务通常由多个基础算子（如卷积、矩阵乘法、激活函数等）组合完成。NN（融合）算子优化就是把多个原本独立的基础算子合并成一个新的、 阅读全文
posted @ 2025-04-15 16:04
lvmxh
阅读(107)
评论(0)
推荐(0)
摘要：
Eigen 算子库是一个用于线性代数运算的 C++ 模板库，它提供了高效的矩阵和向量运算功能，在计算机图形学、计算机视觉、机器学习、机器人等众多领域都有广泛应用。以下是关于它的详细介绍： 主要特点 高效性：Eigen 库对矩阵和向量运算进行了高度优化，能够充分利用现代 CPU 的特性，如单指令多数据 阅读全文
posted @ 2025-04-15 16:03
lvmxh
阅读(32)
评论(0)
推荐(0)
摘要：
在图算融合领域，HLO IR（High-Level Optimizing Intermediate Representation，高级优化中间表示）是一项关键技术，下面从定义、作用、工作流程和优势几个方面为你详细介绍： 定义 HLO IR 是一种中间表示形式，处于深度学习框架的前端（如 Tensor 阅读全文
posted @ 2025-04-15 16:01
lvmxh
阅读(36)
评论(0)
推荐(0)
摘要：
tensorflow 原生算子less、Addv2、Mean介绍。 在 TensorFlow 中，less、AddV2 和 Mean 是几个常用的原生算子，下面为你进行详细介绍： less 算子 功能概述：less 算子用于比较两个张量对应元素的大小，判断第一个张量的元素是否小于第二个张量的对应元素 阅读全文
posted @ 2025-04-15 15:59
lvmxh
阅读(13)
评论(0)
推荐(0)
摘要：
融合算子 fused_Matmul 通俗解释 在深度学习里，矩阵乘法是很基础且频繁的运算。比如在神经网络的全连接层，输入数据和权重矩阵相乘，以此来传递和转换信息。不过，传统的矩阵乘法运算可能会涉及多次数据读取、计算和存储操作，效率不高。fused_Matmul 就是把矩阵乘法和与之相关的其他操作融合 阅读全文
posted @ 2025-04-15 15:57
lvmxh
阅读(29)
评论(0)
推荐(0)
摘要：
在 AI 中，图算融合是一种将计算图的构建和计算过程融合在一起的技术，旨在提高 AI 模型的运行效率和性能。以下从其原理、优势和应用场景三个方面为你通俗地介绍： 原理：AI 模型通常由许多计算步骤组成，这些步骤可以用一个计算图来表示，图中的节点代表各种计算操作，如加法、乘法、卷积等，边则表示数据在这 阅读全文
posted @ 2025-04-15 15:54
lvmxh
阅读(21)
评论(0)
推荐(0)
摘要：
在数学库中，GEMM 是 “General Matrix Multiply” 的缩写，即通用矩阵乘法。下面从其定义、应用场景、实现方式以及优化意义几个方面为你详细介绍： 定义 GEMM 是一种基础且核心的矩阵运算操作，它描述了一般形式下两个矩阵相乘的过程。假设我们有三个矩阵 A、B 和 C，其中矩阵 阅读全文
posted @ 2025-04-15 15:53
lvmxh
阅读(235)
评论(0)
推荐(0)
浙公网安备 33010602011771号