情報量とエントロピー

ひとことで言うと

自己情報量 $I(x) = -\log P(x)$ を出発点に、その期待値がシャノンエントロピー、別の分布で符号化したときの期待コストが交差エントロピー、その超過分がKLダイバージェンスという順に積み上がる一本の道具立てです。分類問題の損失関数に交差エントロピーが選ばれているのは、この積み上げの結果であって独立した工夫ではありません。

なぜ必要か

尤度最大化は「モデルがデータをどれだけよく説明するか」を測る基準ですが、これを最適化問題として扱うには符号や次元をそろえた指標に落とす必要があります。情報理論はそのための共通言語です。

自己情報量には満たすべき3条件があります。

• 起こる確率が高い事象ほど情報量は小さく、確実に起こる事象は情報量ゼロ
• 起こる確率が低い事象ほど情報量は大きい
• 独立な事象の情報量は加法的（コイン2回連続で表が出た情報量は、1回の2倍）

これを満たす関数が $I(x) = -\log P(x)$ で、対数を使うことで加法性（$P(x,y)=P(x)P(y)$ のとき $\log$ が積を和に変える）が自動的に成り立ちます。

満たすべき性質	$-\log P(x)$ での現れ方
確実な事象の情報量は0	$P(x)=1 \Rightarrow -\log 1 = 0$
低確率の事象ほど情報量が大きい	$-\log P(x)$ は $P(x)$ の減少関数
独立事象の情報量は加法的	$P(x,y)=P(x)P(y) \Rightarrow -\log P(x,y) = -\log P(x) - \log P(y)$

ここから期待値・分布間の差という発想に進めば、「モデルの出力分布を真の分布にどれだけ近づけたか」を1つの数で測れるようになります。これが分類の損失設計に情報理論が使われる理由です。

仕組み

自己情報量は事象 $x$ 単体の情報量です。

$$I(x) = -\log P(x)$$

底を $e$（自然対数）にすると単位は nat、底を2にすると単位は bit です。E資格の文脈では基本的に自然対数（nat）で扱います。

シャノンエントロピーは自己情報量の、分布 $P$ に関する期待値です。

$$H(P) = \mathbb{E}_{x \sim P}[I(x)] = -\mathbb{E}_{x \sim P}[\log P(x)]$$

分布が決定的（ある事象の確率がほぼ1）に近いほど $H(P)$ は小さく、一様に近いほど大きくなります。

2つの分布 $P$（真の分布）と $Q$（モデルの分布）があるとき、交差エントロピーは $P$ に従うデータを $Q$ 用の符号で送ったときの平均コストです。

$$H(P, Q) = -\mathbb{E}_{x \sim P}[\log Q(x)]$$

$P$ と $Q$ の差はKLダイバージェンスで測ります。

$$D_{KL}(P \Vert Q) = \mathbb{E}_{x \sim P}\left[\log \frac{P(x)}{Q(x)}\right] = \mathbb{E}_{x \sim P}[\log P(x) - \log Q(x)]$$

3つの量は次の恒等式で結びついています。

$$H(P, Q) = H(P) + D_{KL}(P \Vert Q)$$

右辺の $H(P)$ は $P$（データ）だけで決まり、$Q$（モデル）には依存しません。したがって $Q$ について $H(P,Q)$ を最小化することと $D_{KL}(P \Vert Q)$ を最小化することは同じ問題になります。分類モデルの学習で交差エントロピーを最小化しているとき、実質的にやっているのは経験分布 $\hat p_{\text{data}}$ とモデル分布 $p_{\text{model}}$ のKLダイバージェンスの最小化であり、これは最尤推定そのものです。

$$\theta_{ML} = \arg\max_\theta \, \mathbb{E}_{x \sim \hat p_{\text{data}}}[\log p_{\text{model}}(x;\theta)] = \arg\min_\theta \, H(\hat p_{\text{data}}, p_{\text{model}})$$

量	対象	何を測るか
$I(x)$	1事象	その事象1つの情報量
$H(P)$	1分布	分布 $P$ から見た平均情報量（不確実性）
$H(P,Q)$	分布のペア	$Q$ の符号で $P$ を送るコスト
$D_{KL}(P\Vert Q)$	分布のペア	$H(P,Q)$ のうち $H(P)$ を超えた分

KLダイバージェンスは距離ではありません。 非負（$D_{KL}(P\Vert Q) \ge 0$、等号は $P=Q$ のときのみ）ですが、対称性がなく $D_{KL}(P\Vert Q) \neq D_{KL}(Q\Vert P)$ です。$D_{KL}(P\Vert Q)$ と $D_{KL}(Q\Vert P)$ のどちらを最小化するかで、最適化の挙動（分布の裾をどう扱うか）が変わります。

もう一つ押さえておく価値があるのは、「交差エントロピー」＝「ソフトマックスの負の対数尤度」という理解は狭すぎるという点です。負の対数尤度はどんな分布の仮定に対しても交差エントロピーになります。たとえば平均二乗誤差は、モデルの出力をガウス分布の平均とみなしたときの交差エントロピーに一致します。

試験でどう問われるか

問われ方	正解に寄る条件	引っかけ
自己情報量の式を選ばせる	$I(x) = -\log P(x)$。確率が低いほど値が大きい	符号が逆／$\log$ の中に $-1$ を入れ忘れる
nat と bit の違い	底が $e$ なら nat、底が2なら bit。単位の換算であって別の量ではない	「natのほうが情報の本質を表す」といった実体的な違いを問う誤答
$H(P,Q)$ と $D_{KL}(P\Vert Q)$ の関係	$H(P,Q) = H(P) + D_{KL}(P\Vert Q)$。$Q$ の最適化では両者は同じ問題	$H(P,Q)$ と $D_{KL}(P\Vert Q)$ を常に同一視する誤答（$H(P)\neq0$ なら値そのものは違う）
KLダイバージェンスの性質	非負・$P=Q$ で0・非対称	「距離の公理を満たす」「$D_{KL}(P\Vert Q)=D_{KL}(Q\Vert P)$」
交差エントロピー最小化と最尤推定の関係	経験分布とモデル分布のKL最小化＝最尤推定。同値であって近似ではない	「交差エントロピーは尤度とは別の基準」
平均二乗誤差の情報理論的な位置づけ	ガウス分布を仮定したときの負の対数尤度＝交差エントロピー	「MSEは交差エントロピーとは無関係の誤差指標」

実装で確かめる

離散分布 $P$、$Q$ を用意し、$H(P,Q) = H(P) + D_{KL}(P\Vert Q)$ が成り立つことと、KLダイバージェンスが非対称であることを直接計算で確かめます。

import numpy as np

p = np.array([0.1, 0.2, 0.3, 0.4])       # 真の分布 P
q = np.array([0.15, 0.25, 0.25, 0.35])   # モデルの分布 Q

H_p = -(p * np.log(p)).sum()              # シャノンエントロピー H(P)
H_pq = -(p * np.log(q)).sum()             # 交差エントロピー H(P,Q)
kl_pq = (p * np.log(p / q)).sum()         # D_KL(P||Q)
kl_qp = (q * np.log(q / p)).sum()         # D_KL(Q||P)

print(f"H(P)={H_p:.6f}  H(P,Q)={H_pq:.6f}  H(P)+D_KL(P||Q)={H_p + kl_pq:.6f}")
print(f"D_KL(P||Q)={kl_pq:.6f}  D_KL(Q||P)={kl_qp:.6f}")

実行結果は次の通りです。

H(P)=1.279854  H(P,Q)=1.302788  H(P)+D_KL(P||Q)=1.302788
D_KL(P||Q)=0.022934  D_KL(Q||P)=0.024289

H(P,Q) と H(P)+D_KL(P||Q) が一致しており、恒等式がそのまま数値で確認できます。また D_KL(P||Q) と D_KL(Q||P) が異なる値になっており、非対称性も直接見えます。

取り違えやすいもの

用語	情報量・エントロピーとの関係
自己情報量 $I(x)$	1事象の情報量。エントロピーはこれの期待値
シャノンエントロピー $H(P)$	分布1つの不確実性。交差エントロピーは分布2つに対する量で、$Q=P$ のとき $H(P,Q)=H(P)$ に一致する
交差エントロピー $H(P,Q)$	$Q$ の符号で $P$ を送るコスト。負の対数尤度と同義（$P$ を経験分布、$Q$ をモデル分布とみなしたとき）
KLダイバージェンス $D_{KL}(P\Vert Q)$	$H(P,Q)$ から $H(P)$ を引いた超過分。距離ではなく非対称
ダイバージェンス測度全般（JS情報量など）	KLの非対称性を補うための派生指標。定義・使い分けは別ノートの範囲

想起チェック

自己情報量の定義式が満たすべき3条件は

確率が高い事象ほど情報量が小さい（確実な事象は0）、確率が低い事象ほど情報量が大きい、独立な事象の情報量は加法的、の3つです。対数を使うことで独立事象の積が和になり、加法性が自動的に成り立ちます。

交差エントロピーをモデル側について最小化することが、KLダイバージェンスの最小化と同じになる理由は

$H(P,Q) = H(P) + D_{KL}(P\Vert Q)$ が成り立ち、$H(P)$ は $Q$ に依存しない定数だからです。$Q$ を動かして最小化する限り、両者は同じ最適化問題になります。

KLダイバージェンスは距離と呼べるか

呼べません。非負で $P=Q$ のとき0になりますが、$D_{KL}(P\Vert Q) \neq D_{KL}(Q\Vert P)$ であり対称性がないため、距離の公理を満たしません。

平均二乗誤差は情報理論的にどう位置づけられるか

モデルの出力をガウス分布の平均とみなしたときの負の対数尤度、すなわち交差エントロピーに一致します。交差エントロピーはソフトマックスの負の対数尤度に限った概念ではありません。