凹凸性和Jensen不等式

参照：

• 凹凸性:https://blog.****.net/hqh131360239/article/details/82751791
• Jensen不等式:https://blog.****.net/phoenix198425/article/details/78388597

1、凹凸性

1.1、同济大学高等数学定义

$\qquad$凹凸函数在同济大学高等数学中的定义符合人们的思维定式。在国际上的定义恰好与同济大学高等数学中的定义相反。

1.2、国际上的定义：

$\qquad$国际上的定义刚好与国内的凹凸函数的定义相反。二阶导数大于0，则为凸函数，有极小值；二阶导数小于0，则为凹函数，有极大值（后面涉及到的凹凸函数，均为国际上的定义）；

$\qquad$例如：$e^x$ex的二阶导数大于0，为凸函数；$log\ x$log x的二阶导数小于0，为凹函数；

$\qquad$一元函数可以很容易的判断凹凸性，二元函数如何判断凹凸性？用到了海塞矩阵，根据海塞矩阵的正定性，判断凹凸性。

$\qquad$ a）海塞矩阵
$A=\left[\begin{matrix} \dfrac{\partial^2Z}{\partial x^2} & \dfrac{\partial^2Z}{\partial x\partial y}\\ \\ \dfrac{\partial^2Z}{\partial y\partial x} & \dfrac{\partial^2Z}{\partial y^2} \end{matrix}\right]$A=⎣⎢⎢⎢⎢⎡​∂x2∂2Z​∂y∂x∂2Z​​∂x∂y∂2Z​∂y2∂2Z​​⎦⎥⎥⎥⎥⎤​

$\qquad$ b）正定矩阵
$\qquad$判断海塞矩阵是否为正定矩阵；若所有特征值均不小于零，则称为半正定。 若所有特征值均大于零，则称为正定。特征值怎么求？$|\lambda E-A|=0$∣λE−A∣=0，可以求出特征值。若除主对角线上的元素都为0，则主对角线上的值为特征值。$detA=|A|=$detA=∣A∣=对角线元素积。

$\qquad$ c）凹凸性判断（正定矩阵为凸函数）:

$\qquad$例题1：$f(x,y)=x^2+5y^2-6x+10y+6$f(x,y)=x2+5y2−6x+10y+6

$\qquad$海塞矩阵A:
$A=\left[\begin{matrix} 2 & 0 \\ \\ 0 & 10 \end{matrix}\right]$A=⎣⎡​20​010​⎦⎤​
$\qquad$所有的特征值均大于0，海塞矩阵为正定矩阵，函数为凸函数。

$\qquad$例题2：$f(x,y)=10(y^2+4x)^2+(1-4y)^2$f(x,y)=10(y2+4x)2+(1−4y)2
$\qquad$海塞矩阵A:
$A=\left[\begin{matrix} 320 & -160y \\ \\ -160y & 120y^2-160x+32 \end{matrix}\right]$A=⎣⎡​320−160y​−160y120y2−160x+32​⎦⎤​
$\qquad$根据特征值，决定函数的凹凸性。

2、Jensen不等式

2.1、特殊形式

$\qquad$针对于上述的凸函数，直观意义上的凸函数，有特殊形式：
$f(\dfrac{a+b}{2}) \ge \dfrac{1}{2}(f(a) + f(b)) = \dfrac{1}{2} f(a) + \dfrac{1}{2} f(b)$f(2a+b​)≥21​(f(a)+f(b))=21​f(a)+21​f(b)

2.2、简单引申

$\qquad$针对于上述的凸函数，$\lambda$λ相当于$x_1$x1​的概率，$1-\lambda$1−λ相当于$x_2$x2​的概率，则有:
$f(\lambda x_1 + (1-\lambda) x_2) \ge \lambda f(x_1) + (1-\lambda)f(x_2)$f(λx1​+(1−λ)x2​)≥λf(x1​)+(1−λ)f(x2​)

2.3、延申拓展

$\qquad$针对于上述的凸函数，$\lambda_j$λj​为$y_j$yj​概率，且有$\sum\limits_j\lambda_j=1,\lambda_j \ge 0$j∑​λj​=1,λj​≥0，则有：
$f(\sum_j \lambda_jy_j) \ge \sum_j\lambda_jf(y_j)$f(j∑​λj​yj​)≥j∑​λj​f(yj​)

2.4、推论

$\qquad$若 $f(x)$f(x) 为区间$R$R上的凸函数，$g(x):R→R$g(x):R→R 为一任意函数，$X$X 为一取值范围有限的离散变量， $E[f(g(X))]$E[f(g(X))] 与 $E[g(X)]$E[g(X)] 都存在，则：
$f(E[g(X)]) \ge E[f(g(X))]$f(E[g(X)])≥E[f(g(X))]

$\qquad$证明：
$f(E[g(X)]) =f(\sum_{i=1}^np_ig(x_i))\ge \sum_{i=1}^np_if(g(x_i)) = E[f(g(X))]$f(E[g(X)])=f(i=1∑n​pi​g(xi​))≥i=1∑n​pi​f(g(xi​))=E[f(g(X))]