模拟退火学习总结

模拟退火简述

模拟退火适用的问题通常是一些求最优解的问题

比如，把问题抽象地看成一个长成这样的毫无规律的函数，而最优解就是函数的最低点

众所周知，对于一个没有办法在多项式复杂度的算法下完成求解的问题，我们通常会想到一种简单粗暴的方法——贪心

选择问题的某一个状态，然后不断向更优的情况靠近

比如从A出发，可以获得局部最优解B，但这显然不是全局最优解

显然，这样做的局限性是，过于局限在局部的一个凹部分而无法跳出去去寻找更优的解

原理

为了解决这一问题，科学家们想到了物理的退火降温的过程——

一个处于很高温度的物体，现在要给它降温，使物体内能降到最低。

我们常规的思维是，越快越好，让它的温度迅速地降低。

然而，实际上，过快地降温使得物体来不及有序地收缩，难以形成结晶。而结晶态，才是物体真正内能降到最低的形态。

正确的做法，是徐徐降温，也就是退火，才能使得物体的每一个粒子都有足够的时间找到自己的最佳位置并紧密有序地排列。开始温度高的时候，粒子活跃地运动并逐渐找到一个合适的状态。在这过程中温度也会越降越低，温度低下来了，那么粒子也渐渐稳定下来，相较于以前不那么活跃了。这时候就可以慢慢形成最终稳定的结晶态了。

那么，我们可不可以把找到最优解，与形成结晶态，这两个过程联系在一起呢？

于是，模拟退火诞生了。

百度百科词条

模拟退火算法（Simulate Anneal，SA）是一种通用概率演算法，用来在一个大的搜寻空间内找寻命题的最优解。模拟退火是由S.Kirkpatrick, C.D.Gelatt和M.P.Vecchi在1983年所发明的。V.Černý在1985年也独立发明此演算法。模拟退火算法是解决TSP问题的有效方法之一。

模拟退火的出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法是一种通用的优化算法，其物理退火过程由加温过程、等温过程、冷却过程这三部分组成。

模拟退火的原理也和金属退火的原理近似：将热力学的理论套用到统计学上，将搜寻空间内每一点想像成空气内的分子；分子的能量，就是它本身的动能；而搜寻空间内的每一点，也像空气分子一样带有“能量”，以表示该点对命题的合适程度。演算法先以搜寻空间内一个任意点作起始：每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。

实现过程

我们需要设定这几个参数，模拟退火过程

$T$
$Δ T$

再定义一些量

$x$
$Δ x$
$x_{1}$
$Δ f$

我们给一个初始解 $x$

这时候我们就要考虑是否将当前解变为目标解。因为我们还是需要贪心，所以如果 $f (x_{1}) < f (x)$

那如果 $f (x_{1}) > f (x)$

如此反复选择直到 $T$

用图片来描述的话，就拿上面那个图像寻找最优解为例

首先经过大幅波动，当前解由A->B->C，找到了一个比较满意的解。

但还不能满足。由于温度还比较大，此时接受了一些不比当前解优的目标解，C->D->E，成功地爬了上去。而温度还在慢慢减小。

终于，发现了一个更优解F，成功跳出了那个非常宽的局部凹函数

这时候，温度越来越小了，很难再次接受不比当前解优的目标解，再次翻出去。解终于渐渐趋于稳定，并最终到达了G，找到了最优解

如此看来，基于随机的模拟退火能很大程度上提高正确率，但也不可能完全正确。上面的例子只是随意模拟出的一个情况。所以要多跑几遍，取每一次得到的解的最优值。

大致过程如下：

可以看出，随着温度的降低，解逐渐稳定下来，并逐渐集中在最优解附近。

接受劣解的概率

这里用到Metropolis准则。简单说来，假设我们的目标是求最小值，如果 E与 E0的差，也就是 ΔE小于 0，我们就接受当前解，因为它优于之前的最优解嘛。而如果 ΔE大于 0，也就是我们遇到了一个更劣的解，我们也要以一定的概率来接受它，因为我们要找的一个多峰函数的全局最小值，因此就不能局限于一个局部的凹函数。而这个概率是exp(−ΔE/T)。

我个人对于这个概率的理解是这样的：对于 ΔE，如果它较大，即我们遇到了一个劣得多的解，那我们接受它的概率就相对较小，因为 -ΔE较小嘛；而如果 ΔE较小，即我们遇到了一个较劣的解，我们接受它的概率就较大，因为 −ΔE较大。对于 T，随着时间的增加， T变得越来越小，因此我们把 −ΔE除以T，这样接受的概率就随着温度的降低而越来越小，因为 −ΔE是一个负数嘛。而对于整个式子，当 T较大的时候，我们会接受大部分的解，当 T较小的时候，我们就只会接受 ΔE较小的解。