帕累托最优

帕累托最优是一个很有趣的方法，你可以用它来做深度学习的多目标任务优化，也可以用于对比多个模型的性能。

详解：多目标优化之帕累托最优 - 知乎 (zhihu.com)

一、模型评价

上图所示，有ABCD四个系统，稳定性和准确性是评价系统性能的指标。这是很明显的，D在所有指标上都完全优于A；C稳定性强于A，但准确性弱于A；B完全弱于A。

用帕累托最优理论来解释，即D支配A，C无差别于A，B被A支配。

在模型对比评价中，A是对比模型（sota），我们希望提出的模型尽量支配A，即出现在橘红色区域。但实际上，提出的模型多半出现在绿色区域，也就是无差别于A，这也是可以接受的。不能接受的是，模型出现在蓝色区域，这说明模型被A支配。

综上，提出的模型应当尽可能支配SOTA，退而求其次，应当无差别于SOTA。

二、多目标任务优化

             

图1

图2

图1是f1、f2在解空间上的损失，可以看到没有办法取到一个解使得f1、f2都最小。

此时，若能得到帕累托最优解集，从解集中找到合适的解，也是可以接受的。

 

图2给出了帕累托最前沿，也就是f1、f2的帕累托最优。在可行区域中，没有优于帕累托前沿的解。

而且想要支配帕累托前沿是很难的，下图所示，只有解出现在橘色的这样一个小区域，才能支配帕累托前沿，即支配所有的帕累托最优解。

三、检验学习成果的测验

灰蓝色区域是所有可行区域，f1和f2是优化目标，希望能够最小化这两个目标，请在图中给出帕累托前沿。