摘要：
拉格朗日对偶性是解决带约束的最优化问题的方法，在实际应用中，通过拉格朗日对偶原理将原始问题转换成对偶问题，将原来不容易解决的问题转化为一个容易解决的问题，如支持向量机。原始问题假设是定义在上的连续可微函数，原始问题如下所示：引进广义拉格朗日函数那么原始问题等价于如下问题即这是因为如果约束条件不满足，即, 那么总可以找到一个使得,即在这种情况下，式(4)成立；如果,,式(4)同样成立。通过式(4)将原来的极小问题，转化为广义拉格郞日的极小极大问题。我们定义原始问题的最优值为原始问题的值。对偶问题将原始问题极小极大顺序互换后的极大极小问题称为原始问题的对偶问题,如下所示定义对偶问题的最优值为对偶问 阅读全文
摘要：
伽玛分布是统计学中的一种连续概率函数，包含两个参数a和b，其中a称为形状参数，b称为率参数，定义如下:令(尺度参数),得到伽玛分布的另一种形式，其中称为伽玛函数，是阶乘运算在实数集上的泛化，满足.伽玛分布一个重要应用就是作为共轭分布出现在很多机器学习算法中， 假设，其中是期望，是精度，并且假设期望已知， 那么N个观测值的似然函数如下：其中,该似然函数的共轭分布是伽玛分布，因此可以令伽玛分布作为的先验分布并乘以似然函数得到的后验分布规一化以后，得到另一个伽玛分布，可以看出后验分布仍然是一个伽玛分布。参考文献1 Pattern recognition and machine learning （第 阅读全文