摘要：
前言 1. 本文中，标量对向量、矩阵求导使用分母布局，向量对向量求导使用分子布局（雅各比矩阵） 2. 文本只讲解，通过定义法求解标量对向量、标量对矩阵、向量对向量求导过程 标量对向量 1. 标量对向量求导，其实是实值函数对向量求导，实值函数如下： 2. 定义法，顾名思义，按照定义，标量对向量求导，即 阅读全文
摘要：
标量导数与微分的关系如下： 向量微分与矩阵微分定义如下： 说明： 向量微分最外面也可以加上迹运算，因为常量的迹就是它本身 标量对向量、矩阵求导使用分母布局 从定义中可以得出，矩阵向量微分与导数存在一个转置的关系 矩阵向量微分的性质： 迹函数运用技巧： 通过微分与导数的关系，微分的性质，迹函数的运用技 阅读全文
摘要：
向量对向量求导链式法则： 标量对向量求导链式法则： 标量对多个向量求导链式法则（以最小二乘法求导为例）： 标量对多个矩阵求导链式法则（这里没有给出基于矩阵整体的链式求导法则，矩阵对矩阵求导过于复杂，这里没有涉及）： 有用的结论（机器学习尤其深度学习中经常用到）： 以上结论证明如下： 总结：优先先考虑 阅读全文