2024年4月18日
手搓自动微分
摘要： 手搓自动微分 不同于符号微分、手动微分和差分法，自动微分方法有着使用简单、计算精度较高、性能较好等优势，因此在各大深度学习框架中得到了广泛的应用。虽然每个框架所使用的自动微分的原理不尽相同，但大致都是基于链式法则计算结合图计算的一些优化。如果是自己动手来手搓一个自动微分框架的话，大致就只能实现一下一阶的链式法则的自动微分。 阅读全文
posted @ 2024-04-18 15:59 DECHIN 阅读(246) 评论(0) 推荐(0) 编辑