摘要：
求导定义和求导布局： 向量矩阵求导 - 本质：多元函数求导，将函数的自变量、因变量、标量求导的结果，排列成了向量矩阵的形式（便于表达和计算）【x：标量；x：向量；X：矩阵；y：标量；y：向量；Y：矩阵】 根据自变量或因变量是标量，向量还是矩阵，矩阵求导定义如下（可能有9种情况） 自变量/因变量 标量 阅读全文
摘要：
标量对矩阵 1. 思路与标量对向量类似，只是求解结果是一个与自变量同型的矩阵 2. 举例如下 向量对向量 举例如下 总结：通过定义法求解简单的式子导数比较容易，但是复杂的式子比较麻烦，因为首先需要对每一个元素进行求导，然后还需要进行排列，因此需要一个对整体进行求导的方法 本文参考刘建平老师的博客：h 阅读全文
摘要：
前言 1. 本文中，标量对向量、矩阵求导使用分母布局，向量对向量求导使用分子布局（雅各比矩阵） 2. 文本只讲解，通过定义法求解标量对向量、标量对矩阵、向量对向量求导过程 标量对向量 1. 标量对向量求导，其实是实值函数对向量求导，实值函数如下： 2. 定义法，顾名思义，按照定义，标量对向量求导，即 阅读全文
摘要：
标量导数与微分的关系如下： 向量微分与矩阵微分定义如下： 说明： 向量微分最外面也可以加上迹运算，因为常量的迹就是它本身 标量对向量、矩阵求导使用分母布局 从定义中可以得出，矩阵向量微分与导数存在一个转置的关系 矩阵向量微分的性质： 迹函数运用技巧： 通过微分与导数的关系，微分的性质，迹函数的运用技 阅读全文
摘要：
向量对向量求导链式法则： 标量对向量求导链式法则： 标量对多个向量求导链式法则（以最小二乘法求导为例）： 标量对多个矩阵求导链式法则（这里没有给出基于矩阵整体的链式求导法则，矩阵对矩阵求导过于复杂，这里没有涉及）： 有用的结论（机器学习尤其深度学习中经常用到）： 以上结论证明如下： 总结：优先先考虑 阅读全文