摘要：
《AI推理引擎：核心原理》这个系列的内容：从推理系统整体架构开始，然后到模型小型化、模型压缩，在真正推理之前需要进行模型转换和图优化，最后到kernel和runtime优化。还是很有意思的，也花了很多时间，希望能够帮助到大家啦！！！ 阅读全文
摘要：
作为早期的 AI 框架，Caffe 中卷积的实现采用的是基于 Im2Col 的方法，至今仍是卷积重要的优化方法之一。 从上一篇文章的介绍中可以看到，在 CNN 中卷积直接计算的定义中，卷积核在输入图片上滑动，对应位置的元素相乘后相加求和，滑窗的大小由卷积核决定。由于滑动操作时的窗口的数据横向是连续的 阅读全文
摘要：
2024年9月21日，《AI系统：原理与架构》新书发布会在上海世博馆华为HC大会顺利举办。本书由华为昇腾技术专家、B站AI科普博主ZOMI酱和哈工大软件学院副院长苏统华教授联合编写，是领域内AI系统方面填补空白的重磅之作 发布会上，《AI系统：原理与架构》的作者、编辑代表分别介绍了相关情况，阐述了本 阅读全文
摘要：
在人工智能技术的浪潮中，宝通科技始终致力于探索和应用前沿技术，推动工业智能化的发展。7月26日，宝通科技特邀昇腾生态技术首席陈仲铭博士，为宝通员工带来了一场主题为《工业大模型与业界发展生态》的技术分享会。本次分享会不仅为宝通提供了一个了解工业大模型领域最新发展趋势和业界动态的平台，也进一步推动了宝通 阅读全文
摘要：
最近给领导汇报研发捣鼓的AI编译器，里面有一个东西很吊炸天，研发天天说自己搞了个自研很牛逼的IR。我给领导一汇报，就被领导刁飞了，IR、IR，IR有啥用，能节约我的研发成本吗？IR能解决啥问题？我真的想知道，AI编译器中的IR是什么？ 阅读全文
摘要：
目前主流的深度学习框架都选择使用计算图来抽象神经网络计算表达，通过通用的数据结构（张量）来理解、表达和执行神经网络模型，通过计算图可以把 AI 系统化的问题形象地表示出来。
本节将会以AI概念落地的时候，遇到的一些问题与挑战，因此引出了计算图的概念来对神经网络模型进行统一抽象。接着展开什么是计算，计算图的基本构成来深入了解诶计算图。最后简单地学习PyTorch如何表达计算图。 阅读全文
摘要：
我给领导汇报AI框架用函数式编程好，没讲明白，说函数式就是写函数那样方便，都被领导吊飞了，啥玩意，写啥不是写函数，狗屁不通！网上搜说用tensorflow那就是用声明式编程，用pytorch就是命令式编程。有兄弟能讲清楚，AI框架的编程范式到底如何区分？AI框架中的不同编程范式有什么作用吗？ 阅读全文
摘要：
都2023年，才来回答这个问题，自然毫无悬念地选择PyTorch，TensorFlow在大模型这一波浪潮中没有起死回生，有点惋惜，现在GLM、GPT、LLaMA等各种大模型都是基于PyTorch框架构建。这个事情已经水落石出。
不过呢，我觉得可以一起去回顾下，在AI框架发展的过程中，都沉陷了哪些技术点，为什么一开始这么多人在纠结到底用哪个框架。 阅读全文
摘要：
最近一个月朋友老来挑战我：“什么才是AI框架？”，于是趁着夜深人静的时候，真正地去梳理什么是AI框架，下面是我对AI框架的一些思考。 到底什么是AI算法？什么是神经网络？神经网络有什么用？为什么神经网络需要训练？什么是模型？AI框架有什么用？AI框架能解决什么问题？ 上面的几个问题其实还挺有挑战的。 阅读全文
摘要： 
【AI编译器】深度学习的编译与优化就是将当前的深度学习计算任务通过一层或多层中间表达进行翻译和优化，最终转化成目标硬件上的可执行代码的过程。本系列将围绕现有【AI编译器】中的编译和优化工作的内容展开介绍。 阅读全文
【AI编译器】深度学习的编译与优化就是将当前的深度学习计算任务通过一层或多层中间表达进行翻译和优化，最终转化成目标硬件上的可执行代码的过程。本系列将围绕现有【AI编译器】中的编译和优化工作的内容展开介绍。 阅读全文