实验三：牛顿法
一、实验目的
掌握Hesse矩阵的计算方法和Newton法的基本思想及其迭代步骤；学会运用MATLAB编程实现常用优化算法；能够正确处理实验数据和分析实验结果及调试程序。
二、实验内容
（1）求解无约束优化问题： ；
（2）终止准则取 ；
（3）完成Newton法（牛顿法）的MATLAB编程、调试；
（4）选取几个与实验二中相同的初始点，并给出相关实验结果的对比及分析（从最优解、最优值、收敛速度（迭代次数）等方面进行比较）；
（5）按照模板撰写实验报告，要求规范整洁。
三、算法步骤、代码、及结果
1. 算法步骤
1. 定义目标函数：
给定一个多元函数 f(x)，其中 x 是一个向量，包含多个变量（在这个例子中，x 有四个分量）。
2. 定义目标函数的梯度：
计算目标函数在每个点的梯度向量 grad_f(x)，它包含了函数在每个变量方向上的偏导数。
3. 定义目标函数的海森矩阵：
海森矩阵 hess_f(x) 是一个二阶偏导数的矩阵，用于描述函数的局部曲率。在这个例子中，它是一个 4x4 的矩阵。
4. 选择初始点：
选择一个初始点 x0 作为算法的起始位置。
5. 设定停止准则：
设定一个容差 tol，当梯度的范数小于这个容差时，算法停止迭代。
6. 牛顿法迭代：
a. 初始化迭代计数器 iter 为 0，设置当前点为 x = x0。
b. 计算当前点的梯度 gradient = grad_f(x)。
c. 检查停止准则：如果 norm(gradient) <= tol，则输出最优解和最优值，并结束算法。
d. 否则，计算当前点的海森矩阵 hess。
e. 使用海森矩阵求解线性方程组，得到搜索方向 d = -hess\gradient（在MATLAB中，\ 表示左除，即求解线性方程组）。
f. 更新当前点 x = x + d。
g. 迭代计数器 iter 自增 1。
h. 回到步骤 b，继续迭代。
7. 输出最优解和最优值：
当算法停止时，输出得到的最优解 x（最优的 x 值向量），最优值 f(x)（在最优解处的函数值），以及迭代次数 iter。
2. 代码
% 定义目标函数
f = @(x) (x(1) + 10*x(2))^2 + 5*(x(3) - x(4))^2 + (x(2) - 2*x(3))^4 + 10*(x(1) - x(4))^4;
% 定义目标函数梯度
grad_f = @(x) [2*(x(1) + 10*x(2)); 20*(x(1) + 10*x(2)) + 4*(x(2) - 2*x(3))^3;...
10*(x(3) - x(4)) - 8*(x(2) - 2*x(3))^3; -10*(x(1) - x(4))^4 - 5*(x(3) - x(4))];
% 定义目标函数海森矩阵
hess_f = @(x) [2, 20, 0, -40*(x(1) - x(4))^3;
20, 200 + 12*(x(2) - 2*x(3))^2, -24*(x(2) - 2*x(3))^2, 0;
0, -24*(x(2) - 2*x(3))^2, 10 + 48*(x(2) - 2*x(3))^2, -10;
-40*(x(1) - x(4))^3, 0, -10, 10];
% 初始点
x0 = [1; 1; 1; 1];
% 设定停止准则
tol = 1e-6;
% 牛顿法
x = x0;
iter = 0;
gradient = grad_f(x);
while norm(gradient) > tol
hess = hess_f(x);
d = -hess\gradient;
x = x + d;
gradient = grad_f(x);
iter = iter + 1;
end
% 输出最优解和最优值
disp('最优解为：');
disp(x');
disp(['最优值为：', num2str(f(x))]);
disp(['迭代次数：', num2str(iter)]);
3. 结果
四、心得体会
知道了牛顿法的实现原理
Newton法是一种基于函数泰勒级数展开的优化算法，它利用函数的二阶导数（Hessian矩阵）信息来加速收敛。在每一步迭代中，Newton法通过求解当前点的Hessian矩阵的逆与梯度向量的乘积来得到搜索方向，并沿该方向进行一步搜索，更新当前点。
我对比了Newton法与最速下降法在求解无约束优化问题时的性能差异，并分析了两种算法在最优解、最优值以及收敛速度等方面的差异。这次实验不仅加深了我对优化算法的理解，还提高了我的编程和调试能力。
