条件付き確率と周辺確率

ひとことで言うと

周辺確率は、同時分布から注目しない変数を足し合わせて消したものです。条件付き確率は、ある事象が起きたという情報のもとで、別の事象の確率を測り直したものです。前者は「変数を隠す」操作、後者は「情報を固定する」操作なので、似た記号でも役割が違います。

なぜ必要か

実装では、データに含まれる全変数を常に観測できるとは限りません。ある変数を使わずに予測したい、欠損した変数を積分して不確実性を残したい、ある観測を前提に分布を更新したい、といった場面で同時分布をそのまま扱うと計算の焦点がぼやけます。そこで、必要な変数だけを残す周辺化と、観測済みの値に合わせて切り出す条件付けを使い分けます。

特に混乱しやすいのは、「$x$ の確率が小さい」と「$x$ を知ったときの $y$ の確率が小さい」が別の主張だという点です。$p(x)$ は $x$ 自体の起こりやすさ、$p(y\mid x)$ は $x$ が起きた世界の中での $y$ の起こりやすさです。珍しい入力でも、その入力ならほぼ確実な出力はあり得ます。逆に、よくある入力でも出力が不確実なことはあります。

周辺化は期待値にも現れます。$y$ の値を直接使わず、$x$ だけについて評価するなら、まず $p(x,y)$ から $p(x)$ を作り、その分布で平均します。欠損値を一つの代表値で埋めてしまうと、隠れた値の不確実性を消してしまいますが、周辺化なら可能な値の重み付き平均として残せます。

仕組み

離散確率変数 $X$ と $Y$ の同時確率を $p(x,y)$ とします。$Y$ を観測しないときの $X$ の周辺確率は、$Y$ の全ての値を合計して得ます。連続変数なら合計を積分に置き換えます。

$$p(x)=\sum_y p(x,y), \qquad p(x)=\int p(x,y)\,dy$$

ここで $p(x,y)$ は $X=x,Y=y$ の同時確率、$p(x)$ は $X=x$ だけに注目した確率です。条件付き確率は、分母が0でないとき、同時確率を条件側の周辺確率で割ります。

$$p(y\mid x)=\frac{p(x,y)}{p(x)}, \qquad p(x,y)=p(y\mid x)p(x)$$

$p(y\mid x)$ の縦棒の右側は、確率を計算する世界を $X=x$ に限定する印です。したがって「分母の $p(x)$ を掛け忘れる」と同時分布に戻れません。この分解は連鎖律です。変数の順序は自由で、同じ同時分布を

$$p(x,y)=p(x\mid y)p(y)=p(y\mid x)p(x)$$

とも書けます。多変数でも、先にどの変数を条件側へ回すかで式の見た目は変わりますが、各因子を条件付き確率として正しく定義すれば同じ同時分布を表します。

独立とは、片方を知ってももう片方の確率が変わらないことです。全ての値について

$$p(x,y)=p(x)p(y) \quad\Longleftrightarrow\quad p(y\mid x)=p(y)$$

が成り立つとき、$X$ と $Y$ は独立です。これに対して、別の変数 $Z$ を知った後だけ独立になる条件付き独立は

$$p(x,y\mid z)=p(x\mid z)p(y\mid z)$$

です。独立なら条件付き独立になるとは限らず、条件付き独立でも条件を外すと依存することがあります。共通原因を固定すると相関が消える場合もあれば、逆に選別条件を固定したことで依存が生じる場合もあるため、$Z$ の有無を式に残して判断します。

機械学習との接続では、識別的な学習は主に $p(y\mid x)$ を直接モデル化し、生成的な学習は $p(x,y)$ を扱います。ここで重要なのは名称の暗記より、実装が条件付き分布を出すのか、同時分布を分解して出すのかを見抜くことです。

試験でどう問われるか

問われ方	正解に寄る条件	引っかけ
同時分布から周辺確率を求める	消す変数について離散なら総和、連続なら積分を取る	残す変数について足し合わせる
条件付き確率を同時分布で表す	$p(y\mid x)=p(x,y)/p(x)$ とし、分母は条件側	分母を $p(y)$ にする、または割らずに済ませる
連鎖律の分解を選ぶ	$p(x,y)=p(y\mid x)p(x)$ など、順序に対応した分解	条件の右側と周辺確率の対応を崩す
独立性を判定する	$p(x,y)=p(x)p(y)$ または $p(y\mid x)=p(y)$ が全域で成立	一部の値で一致しただけで独立とする
条件付き独立を判定する	$Z$ を固定した $p(x,y\mid z)$ の因数分解を見る	$Z$ を外した独立性と同一視する
「確率が小さい」を読む	$p(x)$ と $p(y\mid x)$ は別の量として評価する	珍しい $x$ なら $y$ も必ず珍しいと推測する

実装で確かめる

小さな同時分布を作り、総和で周辺化し、条件付き確率を計算します。条件付き独立は、$Z$ の値ごとに表を切り出したときに確認できます。

import numpy as np

p_xy = np.array([[0.40, 0.10], [0.10, 0.40]])  # 行X、列Y
p_x = p_xy.sum(axis=1)                         # Yを周辺化
p_y_given_x = p_xy / p_x[:, None]
print("p(X):", p_x)
print("p(Y|X=0):", p_y_given_x[0])
print("joint check:", np.allclose(p_xy, p_y_given_x * p_x[:, None]))

実行結果は p(X): [0.5 0.5]、p(Y|X=0): [0.8 0.2]、joint check: True です。$X=0$ の周辺確率は $0.5$ と小さくありませんが、その条件で $Y=1$ となる確率は $0.2$ です。この例ではさらに、$p(X=0,Y=0)=0.4$ は $p(X=0)p(Y=0)=0.25$ と異なるため、$X$ と $Y$ は独立ではありません。周辺化した結果だけを見て、同時分布の構造まで独立と判断してはいけません。

取り違えやすいもの

用語	切り分け
同時確率 $p(x,y)$	$X=x$ と $Y=y$ が同時に起きる確率。条件を絞っていない
周辺確率 $p(x)$	$Y$ を総和・積分で消して得る。観測しない変数を残さない
条件付き確率 $p(y\mid x)$	$X=x$ の世界に限定した $Y$ の確率。同時確率を $p(x)$ で正規化する
独立	条件を付けなくても $p(x,y)=p(x)p(y)$ が成り立つ関係
条件付き独立	$Z$ を固定したときだけ $p(x,y\mid z)=p(x\mid z)p(y\mid z)$ が成り立つ関係
期待値の周辺化	隠れた変数の取り得る値を確率で重み付けして平均する操作

想起チェック

周辺確率で消す変数は、総和や積分のどの側か

残したい変数ではなく、注目しない変数です。$p(x)=\sum_y p(x,y)$ のように $y$ を消します。

条件付き確率と同時確率の関係は

$p(y\mid x)=p(x,y)/p(x)$ で、逆に $p(x,y)=p(y\mid x)p(x)$ です。条件側の周辺確率で正規化します。

独立と条件付き独立は、なぜ同じ判定ではないか

独立は条件なしの $p(x,y)=p(x)p(y)$、条件付き独立は $Z$ を固定した $p(x,y\mid z)=p(x\mid z)p(y\mid z)$ です。条件を付ける前後で関係が変わり得ます。

入力の確率が小さいことから、条件付きの出力確率も小さいと言えるか

言えません。$p(x)$ は入力自体の頻度、$p(y\mid x)$ はその入力に限定した出力の頻度で、別の量です。