微积分笔记02：多元函数泰勒的泰勒展开式&海森矩阵

微积分笔记02：多元函数的泰勒展开式&海森矩阵

2.1 二元函数的n阶泰勒展开式

设二维坐标系中存在点\((x_0,y_0)\)及其邻域内的某个点\((x_0+\Delta x,y_0+\Delta y)\)

设存在函数\(z=f(x,y)\)，且\(f(x,y)\)在点\((x_0,y_0)\)的某一邻域内有(n+1)阶连续偏导数

则由n阶泰勒展开式，有：

\[\qquad\qquad\qquad f(x_0+\Delta x,y_0+\Delta y) \]

\[=f(x_0,y_0) \]

\[\qquad\qquad\qquad\qquad\qquad\qquad+\Delta x \cdot f'_x(x_0,y_0)+\Delta y\cdot f'_y(x_0,y_0) \]

\[\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\quad+\frac{1}{2!}\cdot[(\Delta x)^2 \cdot f''_{xx}(x_0,y_0)+(\Delta y)^2 \cdot f''_{yy}(x_0,y_0)+2\Delta_x\Delta_y\cdot f''_{xy}(x_0,y_0)] \]

\[+... \]

\[\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\quad+\frac{1}{n!}\cdot \sum_{i=0}^n C_n^i (\Delta x)^i\cdot(\Delta y)^{n-i} \cdot \frac{\alpha^n f}{\alpha^i x\cdot \alpha^{n-i}y} \Big|_{(x=x_0,y=y_0)} \]

\[\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\quad+\frac{1}{(n+1)!}\cdot \sum_{i=0}^{n+1} C_n^i (\Delta x)^i\cdot(\Delta y)^{n+1-i} \cdot \frac{\alpha^{n+1} f}{\alpha^i x\cdot \alpha^{n+1-i}y} \Big|_{(x=x_0+\theta \cdot \Delta x,y=y_0+\theta \cdot \Delta y)} \]

2.2 多元函数的二阶泰勒展开式及海森矩阵

2.2.1 二元函数的二阶泰勒展开式（矩阵）

一般情况下，可直接使用多元函数的二阶泰勒展开式进行求解，由2.1.1中的n阶泰勒展开式可得：

\[\qquad \qquad \qquad f(x_0+\Delta x,y_0+\Delta y) \]

\[=f(x_0,y_0) \]

\[\qquad\qquad\qquad\qquad\qquad\qquad+f'_x(x_0,y_0)\cdot \Delta x+f'_y(x_0,y_0)\cdot\Delta y \]

\[\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\quad+f''_{xx}(x_0,y_0)\cdot (\Delta x)^2+f''_{yy}(x_0,y_0)\cdot (\Delta y)^2+2f''_{xy}(x_0,y_0)\cdot \Delta x \Delta y \]

由梯度相关性质可得：

\[\nabla f(x_0,y_0)= \begin{bmatrix} f'_x(x_0,y_0)\\ f'_y(x_0,y_0) \end{bmatrix} \]

则上式可用矩阵表示为：

\[\qquad\qquad\qquad f(x_0+\Delta x,y_0+\Delta y) \]

\[=f(x_0,y_0) \]

\[\qquad\qquad\qquad + \nabla f^T(x_0,y_0) \cdot \begin{bmatrix} \Delta x\\ \Delta y \end{bmatrix} \]

\[\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\quad + \begin{bmatrix} \Delta x & \Delta y \end{bmatrix} \cdot \begin{bmatrix} f''_{xx}(x_0,y_0)&f''_{xy}(x_0,y_0)\\ f''_{xy}(x_0,y_0)&f''_{yy}(x_0,y_0) \end{bmatrix} \cdot \begin{bmatrix} \Delta x \\ \Delta y \end{bmatrix} \]

2.2.2 多元元函数的二阶泰勒展开式（矩阵）

设存在多元函数\(f(x_1,x_2,...,x_n)\)，若此函数满足泰勒展开式相关条件，则其二阶泰勒展开式为：

\[f(x_1+\Delta x_1,x_2+\Delta x_2,...,x_n+\Delta x_n) \]

\[=f(x_1,x_2,...,x_n) \]

\[+\nabla f^T(x_1,x_2...,x_n) \cdot \begin{bmatrix} \Delta x_1\\ \Delta x_2\\ ...\\ \Delta x_n \end{bmatrix} \]

\[+ \begin{bmatrix} \Delta x_1 & \Delta x_2 & ...& \Delta x_n \end{bmatrix} \cdot \begin{bmatrix} f''_{x1x1}(x_0,y_0)&f''_{x1x2}(x_0,y_0)&...&f''_{x1xn}(x_0,y_0)\\ f''_{x2x1}(x_0,y_0)&f''_{x2x2}(x_0,y_0)&...&f''_{x2xn}(x_0,y_0)\\ &......\\ f''_{xnx1}(x_0,y_0)&f''_{xnx2}(x_0,y_0)&...&f''_{xnxn}(x_0,y_0) \end{bmatrix} \cdot \begin{bmatrix} \Delta x_1\\ \Delta x_2\\ ...\\ \Delta x_n\\ \end{bmatrix} \]

\[其中,矩阵 \begin{bmatrix} f''_{x1x1}(x_0,y_0)&f''_{x1x2}(x_0,y_0)&...&f''_{x1xn}(x_0,y_0)\\ f''_{x2x1}(x_0,y_0)&f''_{x2x2}(x_0,y_0)&...&f''_{x2xn}(x_0,y_0)\\ &......\\ f''_{xnx1}(x_0,y_0)&f''_{xnx2}(x_0,y_0)&...&f''_{xnxn}(x_0,y_0) \end{bmatrix} 称为海森矩阵，记为H \]

则有：

\[f(x_1+\Delta x_1,x_2+\Delta x_2,...,x_n+\Delta x_n) \]

\[=f(x_1,x_2,...,x_n) \]

\[+\nabla f^T(x_1,x_2...,x_n) \cdot \begin{bmatrix} \Delta x_1\\ \Delta x_2\\ ...\\ \Delta x_n \end{bmatrix} \]

\[+ \begin{bmatrix} \Delta x_1 & \Delta x_2 & ...& \Delta x_n \end{bmatrix} \cdot H \cdot \begin{bmatrix} \Delta x_1\\ \Delta x_2\\ ...\\ \Delta x_n\\ \end{bmatrix} \]