摘要: 如何充分发挥MLIR中Loop的优化特性? 本文通过一个完整的矩阵乘法示例,讲解MLIR中三个核心Loop优化技术: Loop-carried Dependency 分析 - 识别循环间依赖 Loop Unrolling - 循环展开 Affine Loop LICM - 循环不变代码外提 场景:矩 阅读全文
posted @ 2026-01-27 16:01 稳住·能赢 阅读(28) 评论(0) 推荐(0)
摘要: 如何基于MLIR实现Tile-based编程? 本文档介绍 MLIR 中的 Tiling 技术,这是优化计算性能的核心方法。即使你对 MLIR 不熟悉,也可以通过本文档学习 Tiling 的概念和用法。 目录 前置知识:MLIR 基础概念 什么是 Tiling? 示例 1:最简单的循环 Tiling 阅读全文
posted @ 2026-01-27 11:25 稳住·能赢 阅读(43) 评论(0) 推荐(0)
摘要: 基于 MLIR 实现跨架构自动调优 (GPU & Ascend NPU) 扩展阅读:本指南是对《AI 编译器融合技术系统化分类》第 8.3 节“自动调优与调度分离”的深度展开。 1. 核心理念:调度与计算分离 在传统 AI 编译器(如 TVM v1)中,调度逻辑往往硬编码在 C++ 代码中。而在 M 阅读全文
posted @ 2026-01-24 15:15 稳住·能赢 阅读(29) 评论(0) 推荐(0)
摘要: 如何基于 MLIR 实现代价模型驱动的融合决策机制 (GPU & Ascend NPU) 1. 背景与动机 在 AI 编译器中,算子融合(Operator Fusion) 是提升性能的关键手段,旨在通过将多个算子合并为一个内核(Kernel)来减少全局内存(HBM/DDR)的读写次数。 然而,融合并 阅读全文
posted @ 2026-01-24 15:03 稳住·能赢 阅读(35) 评论(0) 推荐(0)
摘要: 在传统编程中,CSR 通常是手动维护的三个数组(row_ptr, col_indices, values)。但在 MLIR 中,稀疏性被设计成为类型系统(Type System)的一种属性,而不是具体的数据结构实现细节。 1. CSR是什么? 在传统高性能计算和深度学习系统中,稀疏张量通常以固定格式 阅读全文
posted @ 2026-01-24 12:00 稳住·能赢 阅读(27) 评论(0) 推荐(0)
摘要: MLIR如何高效实现Flash Attention算法 1. 概述 Flash Attention是一种高效的注意力机制实现,通过在线算法和内存优化显著减少注意力计算的内存访问开销。MLIR通过其分层设计提供了系统化的实现方式。 1.1 核心思想 传统注意力: 读取完整输入 → 计算注意力 → 写回 阅读全文
posted @ 2026-01-23 16:30 稳住·能赢 阅读(82) 评论(0) 推荐(0)
摘要: 一、问题动机:为什么 QKV 是 必须 做 Multi-output Fusion 的场景 以 Transformer 中最典型的结构为例: \[[ Q = X W_Q,\quad K = X W_K,\quad V = X W_V ] \]朴素实现的问题 在“算子级”视角下,这是 三个独立 Mat 阅读全文
posted @ 2026-01-22 20:19 稳住·能赢 阅读(35) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion优化分析(总) ./mlir-opt -h | grep linalg 通过此命令可以查看MLIR中关于linalg的所有Pass,本篇主要分析:linalg-fuse-elementwise-ops(基于llvm 21.1.8版本)。 阅读全文
posted @ 2026-01-19 11:11 稳住·能赢 阅读(15) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion优化分析(三) 本文介绍 mlir/lib/Dialect/Linalg/Transforms/ElementwiseOpFusion.cpp 中其他三种关键优化模式: populateFoldReshapeOpsByExpansion 阅读全文
posted @ 2026-01-19 11:01 稳住·能赢 阅读(14) 评论(0) 推荐(0)
摘要: 【MLIR】Linalg中ElementwiseOpFusion优化分析(二) 概述 populateElementwiseOpsFusionPatterns 函数不仅包含核心的 FuseElementwiseOps pattern,还集成了多个辅助优化策略,它们协同工作以最大化融合的效果。 函数定 阅读全文
posted @ 2026-01-15 21:27 稳住·能赢 阅读(27) 评论(0) 推荐(0)