イェンゼンの不等式を完全解剖｜Aiと統計学を支える超重要定理の全貌

イェンゼンの不等式を完全解剖｜Aiと統計学を支える超重要定理の全貌に関する深掘り解説を詳しく解説いたします。

Q1：イェンゼンの不等式で等号が成立するのはどのような場合ですか？
A1：関数が狭義の凸関数（あるいは凹関数）である場合、等号が成立するのは「確率変数 $X$ が定数である場合（確率1である1点に集中している場合、すなわち分散 $\mathrm{Var}(X) = 0$）」に限られます。また、関数自体が直線（1次関数 $f(x) = ax + b$）である場合は、常に等号が成り立ちます。

Q2：なぜ統計学や機械学習では $f(x) = \log x$ ばかり使われるのですか？
A2：確率の積計算（同時確率分布）を対数によって和の形に変換し、計算の数値的安定性を保つためです。$\log$ は単調増加かつ上に凸（凹関数）であるため、イェンゼンの不等式を適用した際に「最大化したい目的関数の扱いやすい下界（ELBO）」を自然に導出できるという数学的に極めて好都合な性質を持っています。

Q3：相加相乗平均の証明はイェンゼンの不等式でどう記述しますか？
A3：各値 $x_1, x_2, \dots, x_n > 0$ に対し、離散一様分布（それぞれ確率 $1/n$）を想定します。凹関数 $f(t) = \log t$ にイェンゼンの不等式を適用すると、$\log\left(\frac{1}{n}\sum x_i\right) \ge \frac{1}{n}\sum \log x_i = \log\left(\prod x_i^{1/n}\right)$ となります。両辺の指数をとることで、瞬時に相加相乗平均の不等式が得られます。

Q4：条件付き期待値のイェンゼンの不等式はどのような場面で必要になりますか？
A4：時系列データを扱う確率過程（マルチンゲール理論）や、部分観測マルコフ決定プロセス（POMDP）を扱う強化学習の収束証明などで必須となります。過去の観測情報が与えられた条件の下でも凸関数の期待値順序が保たれる性質を利用し、アルゴリズムの安定性を担保します。