5-30日报

如何选择算法？

奥斯卡姆剃刀原则：简单就是最好的

其实这很好理解，在无法确定什么算法最优情况下，自然是越简单越好，然而机器学习领域什么才叫简单呢？没有人能确切定义。所以人们才总结出一些经典的机器学习算法用于改造和复用，这些都是比较简单的算法。

没有免费的午餐定理NFL：任意两个机器学习算法，它们的期望性能是相同的。

上述定理可以通过严格的数学推导证明出来，这意味着机器学习从本质上来说没有任何一个算法比另外一个算法好，相当于所有机器学习算法其实是等价的。不过该定理只是定义在有限的搜索空间。而且是期望相同，也许算法只是在这个问题上表现优异，而在其他问题表现欠佳，所以针对特定问题，有些算法可能更好。