摘要：
本文将介绍华为昇腾推理引擎 MindIE 的详细内容，包括其基本介绍、关键功能特性以及不同组件的详细描述。 本文内容将深入探讨 MindIE 的三个主要组件：MindIE-Service、MindIE-Torch 和 MindIE-RT，以及它们在服务化部署、大模型推理和推理运行时方面的功能特性和应 阅读全文
摘要：
在深入探讨推理引擎的架构之前，让我们先来概述一下推理引擎的基本概念。推理引擎作为 AI 系统中的关键组件，负责将训练好的模型部署到实际应用中，执行推理任务，从而实现智能决策和自动化处理。随着 AI 技术的快速发展，推理引擎的设计和实现面临着诸多挑战，同时也展现出独特的优势。 本文将详细阐述推理引擎的 阅读全文
摘要：
推理系统架构是 AI 领域中的一个关键组成部分，它负责将训练好的模型应用于实际问题，从而实现智能决策和自动化。在构建一个高效的推理系统时，我们不仅需要考虑其性能和准确性，还需要确保系统的可扩展性、灵活性以及对不同业务需求的适应性。在本文中，我们将主要以 NVIDIA Triton Inference 阅读全文
摘要：
本文介绍神经网络模型在部署态中的两种方式：云侧部署和边缘侧部署。其中，云侧部署适用于云服务器等具备强大计算能力和存储空间的环境，可以实现高吞吐量和集中的数据管理，但可能面临高成本、网络延迟和数据隐私等挑战。 边缘侧部署适用于边缘设备和移动设备等资源受限的环境，可以通过模型优化、硬件加速和分布式计算等 阅读全文
摘要：
推理系统是一个专门用于部署神经网络模型，执行推理预测任务的 AI 系统。它类似于传统的 Web 服务或移动端应用系统，但专注于 AI 模型的部署与运行。通过推理系统，可以将神经网络模型部署到云端或者边缘端，并服务和处理用户的请求。因此，推理系统也需要应对模型部署和服务生命周期中遇到的挑战和问题。 在 阅读全文
摘要：
在深入探究 AI 编译原理之后，将进一步迈向一个与日常生活紧密相连的新领域。这个领域无处不在，无论是日常使用的购物应用、观看在线视频的平台，还是钟爱的游戏，它们都与这个领域息息相关。该领域，便是推理系统与推理引擎。 那么，推理系统与推理引擎究竟是什么呢？它们之间又存在着怎样的差异？推理的具体工作流程 阅读全文
摘要：
AI 的发展日新月异，AI 系统相关软件的更新迭代也是应接不暇，作为一篇讲授理论的文章，我们将尽可能地讨论编程范式背后的原理和思考，而少体现代码实现，以期让读者理解 Ascend C 为何这样设计，进而随时轻松理解最新的 Ascend C 算子的编写思路。 本文将针对 Ascend C 的编程范式进 阅读全文
摘要：
Ascend C 的本质构成其实是标准 C++加上一组扩展的语法和 API。本文首先对 Ascend C 的基础语法扩展进行简要介绍，随后讨论 Ascend C 的两种 API——基础 API 和高阶 API。 接下来针对 Ascend C 的几种关键编程对象——数据存储、任务间通信与同步，资源管理 阅读全文
摘要：
本文将深入探讨昇腾算子开发编程语言 Ascend C，这是一种专为昇腾 AI 处理器算子开发设计的编程语言，它原生支持 C 和 C++标准规范，最大化匹配用户的开发习惯。Ascend C 通过多层接口抽象、自动并行计算、孪生调试等关键技术，极大提高算子开发效率，助力 AI 开发者低成本完成算子开发和 阅读全文
摘要：
算子是编程和数学中的重要概念，它们是用于执行特定操作的符号或函数，以便处理输入值并生成输出值。本文将会介绍 CANN 算子类型及其在 AI 编程和神经网络中的应用，以及华为 CANN 算子在 AI CPU 的详细架构和开发要求。 算子基本介绍 一元算子通过对单个操作数进行操作，如取反或递增，而二元算 阅读全文