琴生不等式

参考资料：360百科、概率统计

琴生不等式，又名詹森(Jensen)不等式。

在机器学习中对凸函数的定义不同于以往在数学中接触的凹函数定义，我们把类似碗形的函数称之为凸函数，类似拱形的函数称之为凹函数。如下图所示：

定义

如果函数f(x)满足对定义域上任意两个x1、x2都有(f(x1)+f(x2))/2>=f((x1+x2)/2)，那么f(x)为凸函数，或下凹函数。

拓展定义

设f(x)为凸函数，则f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸)；设f(x)为凹函数，f[(x1+x2+……+xn)/n]≥f(x1)+f(x2)+……+f(xn)]/n(上凸)，称为琴生不等式。

如果上面凹凸是严格的，那么不等式的等号只有x1=x2=...=xn才成立。

加权形式为：

f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸)；

f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸)，

其中

ai≥0(i=1,2,……,n),且a1+a2+……+an=1。

关于琴生不等式的结论

如果f(x)二阶可导，而且f''(x)≥0，那么f(x)是下凸函数（凸函数）；

如果f(x)二阶可导，而且f''(x)≤0，那么f(x)是上凸函数（凹函数）。

公式应用

(x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t，（t>1时）；

(x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t，（0<t<1时）；

取f(x) = x^t。

((x1+x2+...+xn)/n)^n>=x1*x2*...*xn，取f(x)=log(x)。