理解机器学习的基本原理：从简单的数字推理游戏说开去

相信很多人考过坑爹的公务员吧。考试的行测部分，本人最恶心的就是数字推理，比如题目：有数字2, 8, 16, 64，要求从0-100里选出最有可能的下一个数字？

给定上面的数字，可能的规律有：2的n次幂？偶数？2的n次幂（不包括32）？等等。但如何选出一个最有可能的规律从而得到最有可能的下一个数字呢？华图和中公的老师是这么讲的，我数学很牛逼，我当年是奥数冠军，我有神秘的数感或者题感，我感觉规律是xx，所以下一个数字是xx。但是，这貌似不科学啊，骚年！科学是能重复实现的原理，不能靠感觉啊。那么，正确的打开方式是神马?

其实，这个问题和概率论、贝叶斯理论和机器学习有千丝万缕的关系。贝叶斯理论揭示了如何从根据不确定性信息里作出推理，反映了人们对概率信息的认知加工过程与规律。人类在进化中已经把这个加工过程高度自动化了，很多时候你感觉不到推理，靠的只是直觉就能做出不错的决策。机器学习的本质就是使用贝叶斯理论和其他概率工具模拟人类的这个直觉，并用程序来实现这些个加工过程或者直觉，从而实现预测、决策等功能。

本文从数字推理题目这个简单的预测问题出发，希望通过循循善诱的方式，带你领略机器学习背后的概率推理。理解本文基本需要一丁点概率论的基础知识，请看这里来获得基本的概念。为了能更好的输入和显示数学公式，正文部分在下面的pdf中展现，be patience, young Jedi！本文的例子来自于MLAPP这本书，向原作者表示感谢。