イェンセンの不等式とは？Ai時代を支える数学の急所を完全解説

イェンセンの不等式とは？Ai時代を支える数学の急所を完全解説についての疑問解決ガイドを徹底解説します。

Q1：下に凸な関数と上に凸な関数で、不等号の向きはどう見分ければ良いですか？
A1：放物線 $f(x) = x^2$ のように「下に凸」な形状であれば $f(E[X]) \le E[f(X)]$ となり、期待値を取ってから関数に入れる方が小さくなります。一方、対数関数 $f(x) = \log x$ のように「上に凸」な形状では $f(E[X]) \ge E[f(X)]$ と不等号が逆転します。迷ったときは $x^2$ や $\log x$ のグラフを描いて確認するのが確実です。

Q2：イェンセンの不等式で「等号が成立する」のはどのような場合ですか？
A2：等号成立条件は主に2パターンです。1つ目は確率変数 $X$ が定数（分散がゼロ、すなわち確率1である1点に集中している）の場合。2つ目は対象の関数 $f(x)$ が厳密な凸関数ではなく、直線（アフィン変換 $f(x) = ax + b$）の場合です。関数が厳密に凸（strictly convex）であり、$X$ が非自明なばらつきを持つ場合、不等号は厳密に成立します（$<$ または $>$）。

Q3：機械学習の最新論文を読む際、イェンセンの不等式はどこに注目すべきですか？
A3：主に「対数尤度の最大化が難しく、変分推論（Variational Inference）を用いて最適化問題を置き換えている箇所」に注目してください。$\log E[\cdot] \ge E[\log \cdot]$ という変形パターンを見かけたら、イェンセンの不等式を用いて下界を構成しているサインです。ELBOの導出や拡散モデル（Diffusion Models）の理論的枠組みでも基盤として多用されています。