Optimization 优化
PCI里面介绍了两个算法:simulated annealing,模拟退火和genetic algorithms,遗传算法。
无论哪种优化算法,这里都需要一个代价计算函数来判定计算过程中产生的结果的好坏。
sa要设置一个较高的初始温度,按照由快变慢的速度在迭代过程中降温。
算法是同一个随机结果开始,在解向量空间的某一维度上做一个小的随机变化而生成一个新的解。用代价函数来判断新解的好坏,如果好,就作为下一次迭代的初始值;如果坏,也给人家一定的几率来继续下去。这个几率是根据温度来计算的,所以当计算刚开始的时候,结果有较大的几率变坏,这样是为了避免受限于局部最优值。
ga的灵感来自于基因进化。
算法是从一组随机生成的解开始。用代价函数计算解的优劣,选取最好的解进行进化得到下一次迭代的解集。
进化的方法有两种:mutation和combination(crossover or breeding)。
当经过若干代演化解集不再优化或者达到迭代次数上限时算法结束。
其实PCI里面还有个Hill Climbing,爬山算法也是用来做优化的。
hc是从一个随机解开始,找到这个解所有临近的向量(就是在每个维度上做一个小的变化),然后找出最优的解作为下一步迭代的起始值。