-
琴生不等式
鎖定
目錄
琴生不等式定義公式
1.若
是區間
上的下凸函數,則對任意的
,有不等式:
當且僅當
時等號成立。
2.其加權形式為:
若
是區間
上的下凸函數,則對任意的
,且
,
為正數,有
琴生不等式證明
此處證明加權形式,令
即可證明一般形式
當n=1結論顯然成立,下面討論n≥2時的情況
當n=2,則由於
是[a,b]上的下凸函數,∴在[a,b]內,
在連接
的直線
之下,而
,
設結論對n-1成立,則
,
,
琴生不等式應用
有了這個結論以後,使用琴生不等式就非常方便了,如今可以非常容易證明一般情況的均值不等式。
比如
其中前面兩個取
就可以了
後面一個取
就可以了。
同時,值得注意的是,上凸、下凸、凹、凸的含義是不同的。
琴生不等式涉及概率密度函數的形式
假設Ω是實線的可測子集,f(x)是一個非負函數
在概率語言中,f是概率密度函數。
然後Jensen的不等式變成了關於凸積分的下面的陳述:
如果g是任何實值可測函數且φ在g的範圍內是凸的,那麼:
如果g(x)=x,那麼這種不等式的形式可以簡化為一個常用的特例:
琴生不等式例如:隨機變量的偶數矩
如果g(x)=x,並且X是一個隨機變量,那麼g是凸的
所以
特別是,如果有的甚至瞬間2N的X是有限的,X具有有限的均值。這個論證的延伸表明X具有每個階的有限矩
劃分ñ。
琴生不等式替代有限形式
令Ω= {x1,...xn},並且以μ為Ω上的計數度量,則一般形式簡化為關於和的聲明:
,
條件是λi≥0和
還有一個無限的離散形式。
琴生不等式統計物理學
當凸函數是指數函數時,Jensen不等式在統計物理學中特別重要,給出:
這種情況下的證明非常簡單(參見Chandler,第5.5節)。理想的不平等直接來自書寫
- {\ displaystyle \ operatorname {E} \ left [e ^ {X} \ rightname = {E ^ {\ operatorname {E} [X]} \ operatorname {E} \ [X]} \]}
然後應用不等式ë≥1 +X至最終指數。
琴生不等式信息論
如果p(X)是用於真正的概率分佈X和q(X)是另一種分佈,然後施加Jensen不等式隨機變量ÿ(X)=q(X)/p(X)和函數φ(ÿ)= -log(y)給出
因此:
一個稱為吉布斯不平等的結果。
它表明,當代碼是基於真實概率p而不是任何其他分佈q分配時,平均消息長度被最小化。即非負的量被稱為相對熵的q從p。
由於-log(X)為嚴格凸函數X> 0,它遵循:當等號成立p(X)等於q(X)幾乎無處不在。
琴生不等式Rao-Blackwell定理
主要文章:Rao-Blackwell定理
如果L是一個凸函數,
一個亞西格瑪代數,然後,從Jensen不等式的條件版本中,可以得到
,相對於θ的期望值δ在所有可能的觀察值向量X上都可以與觀察到的相同的T(X)值相匹配。
這個結果被稱為Rao-Blackwell定理。