05 2022 档案
摘要：前向操作符重载自动微分实现 在这篇文章里，ZOMI会介绍是怎么实现自动微分的，因为代码量非常小，也许你也可以写一个玩玩。前面的文章当中，已经把自动微分的原理深入浅出的讲了一下，也引用了非常多的论文。有兴趣的可以顺着综述A survey这篇深扒一下。 【自动微分原理】01. 原理介绍 【自动微分原理】
阅读全文
摘要：第一篇自动微分原理文章中我们大概初步谈了谈从手动微分到自动微分的过程，第二篇自动微分正反模式中深入了自动微分的正反向模式具体公式和推导。 实际上第二章了解到正反向模式只是自动微分的原理模式，在实际代码实现的过程，正方向模式只是提供一个原理性的指导，在真正编码过程会有很多细节需要打开，例如如何解析表达
阅读全文
摘要：自动微分的两种模式 上一篇文章我们简单了解了计算机中常用的几种微分方式。 本章将深入介绍AI框架离不开的核心功能自动微分，而自动微分则是分为前向微分和后向微分两种实现模式，不同的实现模式有不同的机制和计算逻辑，而无论哪种模式都离不开雅克比矩阵，所以我们也会深入了解一下雅克比矩阵的原理。 雅克比矩阵
阅读全文
摘要：自动微分原理 自动微分（Automatic Differentiation，AD）是一种对计算机程序进行高效准确求导的技术，一直被广泛应用于计算流体力学、大气科学、工业设计仿真优化等领域。而近年来，机器学习技术的兴起也驱动着对自动微分技术的研究进入一个新的阶段。随着自动微分和其他微分技术研究的深入，
阅读全文
摘要：Vision Transformer（ViT）简介 近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大的促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型
阅读全文
