4 ベイズ統計の数理
この章は、講義「ベイズ統計」の回で扱う考え方を、数式の側からていねいに追うための読み物です。 公式を覚えることが目的ではありません。事前分布・尤度・事後分布・周辺尤度 という4つの登場人物が、ベイズの定理という1本の式の上でどう役割分担しているのかを、具体例を通して「腑に落ちる」ところまで持っていくことを目標にします。とくに、つまずきやすい 周辺尤度 に1節を割いて掘り下げます。
第1〜3節で枠組みを作り、第4節で周辺尤度を集中的に解説します。第5節の通し具体例（コイン投げ）で、抽象的な式が実際の数値になる様子を見てください。数値はすべてRで計算して確かめてあります。
1. 確率を「信念の度合い」として測る
これまでの講義で確率は、「同じ試行を無限に繰り返したときの相対頻度」として導入されました（頻度主義の立場）。ベイズ統計はもう一つの見方をとります。確率を 「ある主張をどれだけ確からしいと考えているか（信念の度合い）」 とみなすのです。
この見方の利点は、「まだ1回しか起きていないこと」「これから起きること」「未知のパラメータの値」 にも確率を割り当てられる点にあります。たとえば「このコインの表が出る確率 \theta は 0.6 くらいだろう」という主張に、頻度主義では確率を与えられません（\theta は定数で、ランダムに動くものではないから）。ベイズでは \theta 自身を確率変数とみなし、\theta についての確率分布を考えます。
ベイズ統計のすべては、次の1点に集約されます。
データを見る前の信念（事前分布）を、観測したデータによって更新し、データを見た後の信念（事後分布）にする。
この「更新」を実行する装置が、ベイズの定理です。
2. ベイズの定理 ── 「逆向き」の確率
「公式の導き方」第9節で、ベイズの定理を導きました（条件付き確率の定義から2行で出ます）。事象の形では P(A\mid B)=\frac{P(B\mid A)\,P(A)}{P(B)}. ここで本質的なのは 向きの反転 です。ふつう私たちが模型（モデル）から計算できるのは「原因 A が与えられたとき結果 B が出る確率」P(B\mid A) の方です。ところが本当に知りたいのは、結果 B を観測した後で「原因が A だった確率」P(A\mid B) ― つまり 逆向き の確率です。ベイズの定理は、計算しやすい順向きの確率から、知りたい逆向きの確率へ橋を架けます。
統計では「原因」がパラメータ \theta、「結果」が観測データ D にあたります。記号を置き換えると次の形になります。これがこの章の主役の式です。 \boxed{\;\underbrace{p(\theta\mid D)}_{\textsf{事後分布}} =\frac{\overbrace{p(D\mid\theta)}^{\textsf{尤度}}\;\overbrace{p(\theta)}^{\textsf{事前分布}}} {\underbrace{p(D)}_{\textsf{周辺尤度}}}\;}
3. 4人の登場人物
上の式に出てくる4つの量を、役割とともに整理します。\theta は推定したいパラメータ（例：コインの表確率）、D は観測データです。
事前分布 p(\theta)（prior） データを見る 前 の、\theta についての信念。「たぶん 0.5 あたりだろう」「まったく見当がつかない（一様）」などを分布の形で表す。
尤度 p(D\mid\theta)（likelihood） パラメータの値を \theta と 仮に決めたとき、手元のデータ D がどれだけ出やすいか。\theta を変数とみた「データの出やすさ」。これは確率モデルそのものから計算できる。
事後分布 p(\theta\mid D)（posterior） データを見た 後 の、更新された信念。ベイズ推定の 最終的な答え。点ではなく分布で得られるのが特徴。
周辺尤度 p(D)（marginal likelihood / evidence） データ D が「（特定の \theta ではなく）このモデルのもとで」どれだけ出やすかったかを表す数。次節で集中的に扱う。
分母の p(D) は \theta を含みません（\theta について平均してしまった後だから）。そのため、\theta の関数として事後分布の 形 を見るときには定数として扱え、しばしば次の比例関係で書かれます。 \underbrace{p(\theta\mid D)}_{\textsf{事後}}\;\propto\;\underbrace{p(D\mid\theta)}_{\textsf{尤度}}\;\underbrace{p(\theta)}_{\textsf{事前}}. \qquad(\textsf{「事後}\;\propto\;\textsf{尤度}\times\textsf{事前」}) 「事後分布は、尤度と事前分布のかけ算（を規格化したもの）」 ― これがベイズ更新の一言まとめです。事前の信念に、データという証拠を「掛け合わせて」修正している、と読めます。
4. 周辺尤度をていねいに
周辺尤度 p(D) は、ベイズの式の中でいちばん分かりにくい量です。ここを掘り下げます。
4.1 定義 ── パラメータについて「平均」する
周辺尤度は、尤度を事前分布で 重みづけ平均 したものです。 p(D)=\int p(D\mid\theta)\,p(\theta)\,d\theta \qquad(\theta\ \textsf{が離散なら}\ p(D)=\textstyle\sum_\theta p(D\mid\theta)\,p(\theta)). これは「公式の導き方」第9節の 全確率の定理 P(B)=\sum_A P(B\mid A)P(A) の連続版にほかなりません。「ありうるすべての \theta について、その \theta の起こりやすさ p(\theta) をかけて、データの出やすさ p(D\mid\theta) を足し上げる」操作です。
「周辺（marginal）」という名前は、同時分布 p(D,\theta)=p(D\mid\theta)p(\theta) から \theta を 積分して消し、D だけの分布にする ― つまり \theta を「周辺化（marginalize）して追い出す」ことから来ています。
4.2 役割その1 ── 規格化定数
事後分布は確率分布ですから、\theta について足し合わせると1にならなければなりません。 \int p(\theta\mid D)\,d\theta=1. ベイズの式の分子 p(D\mid\theta)p(\theta) だけでは、\theta について積分しても1になりません。そこで 分子の総和ぴったりで割って、合計を1に合わせる 必要があります。その「割るべき総量」こそ p(D)=\int p(D\mid\theta)\,p(\theta)\,d\theta です。つまり周辺尤度の第一の役割は、事後分布をきちんとした確率分布にするための規格化定数 です。「事後 \propto 尤度 \times 事前」の比例を等式に直すために、分母として必ず現れます。
4.3 役割その2 ── モデルの「データ予測力」の通信簿
規格化のためだけなら p(D) は裏方ですが、p(D) そのものに意味があります。p(D) は p(D)=\int p(D\mid\theta)\,p(\theta)\,d\theta =\textsf{「このモデルが、観測される前のデータ $D$ に与えていた確率」} です。特定の都合のよい \theta ではなく、事前分布が予想していた \theta の範囲ぜんぶをならした上で、現実のデータがどれだけ「ありそう」だったかを1つの数で表します。だから周辺尤度は別名 エビデンス（evidence, 証拠） と呼ばれ、そのモデルがデータをどれだけうまく予言できたかの通信簿になります。
ここで自動的に効くのが 「複雑なモデルは自分で自分の首を絞める」 という性質です。周辺尤度 p(D) は、ありうるデータ D 全体について足すと1になる確率分布です（\sum_D p(D)=1）。そのため、事前分布が \theta を広く取りすぎた（過度に複雑な・なんでも説明できる）モデルは、多種多様なデータを「ありうる」と予言することになり、限られた確率を多くのデータに薄く配るため、実際に観測された1つのデータに割り当てる p(D) は小さくなりがちです。逆に、ちょうどよい範囲に賭けていたモデルは p(D) が大きくなります。これは オッカムの剃刀（無駄に複雑な説明を罰する） が、追加のルールではなく周辺尤度の定義から自然に出てくる、という美しい事実です。
4.4 役割その3 ── モデル比較とベイズファクター
2つのモデル M_1, M_0 を比べたいとします。それぞれの周辺尤度 p(D\mid M_1),\ p(D\mid M_0) の比を ベイズファクター（Bayes factor） と呼びます。 \text{BF}_{10}=\frac{p(D\mid M_1)}{p(D\mid M_0)} =\frac{\textsf{$M_1$ のもとでデータが出る確率}}{\textsf{$M_0$ のもとでデータが出る確率}}. \text{BF}_{10}>1 ならデータは M_1 を支持し、<1 なら M_0 を支持します。仮説検定の p 値が「帰無仮説が正しいと仮定したときの極端さ」しか測れないのに対し、ベイズファクターは 2つの仮説のどちらがデータをうまく説明したかを直接くらべられる のが長所です。第5節で実際に計算します。
4.5 ベイズファクターの手軽な近似 ── BIC
ベイズファクターを正面から求めるには周辺尤度 p(D)=\int p(D\mid\theta)p(\theta)\,d\theta が要りますが、第7節で見るとおり、この積分は一般には解けません。そこで実務で広く使われる近似が BIC（ベイズ情報量規準, Bayesian Information Criterion） です。最尤推定値 \hat\theta（尤度 L(\theta)=p(D\mid\theta) を最大にするパラメータ値。「公式の導き方」第7節）での尤度 L(\hat\theta)=p(D\mid\hat\theta)、パラメータ数 k、標本サイズ n から \text{BIC}=-2\ln L(\hat\theta)+k\ln n で定義します。第1項はデータへの当てはまり（小さいほどよく当てはまる）、第2項 k\ln n は パラメータが多いほど重くなる罰則 です。この罰則こそ、§4.3 でみた「複雑なモデルは自分で自分の首を絞める」というオッカムの剃刀を、式の形で取り出したものになっています。
BIC の名前に「ベイズ」が入るのは偶然ではありません。標本サイズ n が大きいとき \text{BIC}\ \approx\ -2\ln p(D) が成り立ちます（シュワルツ近似。定数項を除いた大標本での近似です）。つまり BIC は「周辺尤度を -2\ln した量」の近似 です。これを2つのモデルで差し引くと、ベイズファクターとの関係が現れます。 \text{BIC}_0-\text{BIC}_1\ \approx\ 2\ln\frac{p(D\mid M_1)}{p(D\mid M_0)}=2\ln\text{BF}_{10}, \qquad\textsf{すなわち}\qquad \text{BF}_{10}\ \approx\ \exp\!\Big(\tfrac{\text{BIC}_0-\text{BIC}_1}{2}\Big). BIC が小さいモデルほど支持される わけで、その差がそのまま近似的なベイズファクターに翻訳できます。周辺尤度の積分を解かずに、最尤推定とパラメータ数・標本サイズだけからモデルを比べられる ― これが BIC の手軽さです（ただしあくまで大標本での近似で、事前分布の情報を k\ln n という大まかな罰則で置きかえている点には注意）。
まとめ：周辺尤度は「規格化定数」という裏方の顔と、「モデルの予測力＝エビデンス」という主役の顔を併せ持つ。後者がモデル比較・ベイズファクターの土台になり、その手軽な近似が BIC（\text{BF}_{10}\approx e^{(\text{BIC}_0-\text{BIC}_1)/2}）である。
5. 通し具体例：コイン投げ（ベータ–二項モデル）
抽象論を、計算しきれる具体例で確かめます。コインを n 回投げて表が k 回出たとき、表の確率 \theta を推定します。
5.1 尤度（モデル）
表が出る確率を \theta とすると、n 回中 k 回表が出る確率は二項分布です。 p(D\mid\theta)=\binom{n}{k}\theta^k(1-\theta)^{n-k}.
5.2 事前分布
\theta は [0,1] の値なので、[0,1] 上の分布である ベータ分布 を事前分布に選ぶと便利です。 p(\theta)=\frac{1}{B(a,b)}\,\theta^{a-1}(1-\theta)^{b-1},\qquad 0\le\theta\le1. ここで B(a,b)=\displaystyle\int_0^1\theta^{a-1}(1-\theta)^{b-1}d\theta は規格化のための ベータ関数 です。a=b=1 とすると p(\theta)=1、すなわち 一様分布（まったく見当がつかない） になります。a=b を大きくすると「0.5 付近だろう」という強い事前の信念を表せます（一般には事前分布の平均 a/(a+b) の付近に集中します）。
5.3 事後分布 ── 「共役」の威力
「事後 \propto 尤度 \times 事前」を計算します。\theta に関係しない定数（\binom{n}{k} や 1/B(a,b)）はまとめて比例記号に吸収します。 \begin{aligned} p(\theta\mid D)&\propto \underbrace{\theta^k(1-\theta)^{n-k}}_{\textsf{尤度}}\cdot\underbrace{\theta^{a-1}(1-\theta)^{b-1}}_{\textsf{事前}}\\ &=\theta^{(a+k)-1}(1-\theta)^{(b+n-k)-1}. \end{aligned} 最後の式は、パラメータが a'=a+k,\ b'=b+n-k の ベータ分布の形そのもの です。つまり \boxed{\;\theta\mid D\ \sim\ \text{Beta}(a+k,\ b+n-k).\;} 事前がベータなら事後もベータ ― このように 事前と事後が同じ分布族になる 関係を 共役（conjugate） といいます。共役のときは積分を実行しなくても、パラメータの足し算だけで事後分布が分かります。直感的には、事前のベータ分布 \text{Beta}(a,b) は「あらかじめ表 a-1 回・裏 b-1 回を見たことにする」仮想データ に相当し、そこに本物のデータ（表 k・裏 n-k）を足し込んでいる、と読めます。
5.4 周辺尤度を実際に計算する
第4節の定義どおり、周辺尤度を積分で求めます。\theta に依存する部分だけが積分に残ります。 \begin{aligned} p(D)&=\int_0^1 \binom{n}{k}\theta^k(1-\theta)^{n-k}\cdot\frac{1}{B(a,b)}\theta^{a-1}(1-\theta)^{b-1}\,d\theta\\ &=\frac{\binom{n}{k}}{B(a,b)}\int_0^1 \theta^{(a+k)-1}(1-\theta)^{(b+n-k)-1}\,d\theta\\ &=\binom{n}{k}\,\frac{B(a+k,\ b+n-k)}{B(a,b)}. \end{aligned} （2行目から3行目で、ベータ関数の定義 \int_0^1\theta^{a'-1}(1-\theta)^{b'-1}d\theta=B(a',b') をそのまま使いました。）この閉じた式を ベータ–二項分布の周辺尤度 と呼びます。積分が手で実行できる、数少ない気持ちのよい例です。
5.5 数値で確かめる（n=10,\ k=7、一様事前 a=b=1）
事前を一様 \text{Beta}(1,1) とし、10回中7回表が出たとします。事後は \theta\mid D\ \sim\ \text{Beta}(1+7,\ 1+3)=\text{Beta}(8,4).
| 量 | 式 | 値 |
|---|---|---|
| 事後平均 | \dfrac{a'}{a'+b'}=\dfrac{8}{12} | 0.667 |
| 事後最頻値（MAP） | \dfrac{a'-1}{a'+b'-2}=\dfrac{7}{10} | 0.700 |
| 95% 信用区間 | \theta の事後分布の中央95% | [0.390,\ 0.891] |
| 周辺尤度 | \binom{10}{7}B(8,4)/B(1,1) | 0.0909\ (=\tfrac{1}{11}) |
事後分布の形は 図 1 のとおりです。最頻値 0.7 は単純な比 7/10（最尤推定値）と一致します。一様な事前は何も主張しないので、答えがデータだけで決まるためです。一方、事後 平均 は 0.667 とわずかに 0.5 寄りになります。これは一様事前が「0.5 付近もまだ十分ありうる」と言い続けているぶん、平均が中央へ引き戻されるからです（事前による正則化）。
周辺尤度の検算：一様事前のとき、p(D) は k の値によらず常に 1/(n+1) になります。実際 1/(10+1)=1/11=0.0909 で表の値と一致。意味はこうです ― 「表の確率がどれも等しくありそう」と思っているなら、n 回中の表の回数 k=0,1,\dots,n もどれも等しくありそう（全 n+1 通りが等確率）。だから各 k の予測確率は 1/(n+1)。周辺尤度の式が、この直感とぴったり合うことが確認できます。
5.6 信用区間 ≠ 信頼区間（重要な対比）
上の 95% 信用区間（credible interval） [0.390,\ 0.891] は、文字どおり P(0.390\le\theta\le0.891\mid D)=0.95 と読めます ― 「\theta がこの区間に入る確率が95%」（もちろん、事前分布とデータを与えたうえでの確率です）。これはほとんどの人が「信頼区間」に対して期待してしまう（が、頻度主義の信頼区間では成り立たない）解釈です。「公式の導き方」第10節で注意したとおり、頻度主義の 信頼区間 は「同じ手続きを繰り返すと95%の区間が母数を含む」という、区間の側がランダムだという解釈でした。ベイズでは \theta の側に確率を置くので、素直な「\theta がこの中にいる確率」という言い方が許されます。この解釈の自然さがベイズの大きな魅力です。
5.7 ベイズファクターでモデルを比べる
「このコインは公正か？」を2つのモデルの勝負として定式化します。
- M_0（公正）：\theta=0.5 に決め打ち。 p(D\mid M_0)=\binom{10}{7}0.5^{10}=0.117.
- M_1（不明）：\theta\sim\text{Beta}(1,1) の一様事前。 p(D\mid M_1)=1/11=0.0909.
ベイズファクターは \text{BF}_{10}=\frac{p(D\mid M_1)}{p(D\mid M_0)}=\frac{0.0909}{0.117}=0.78, \qquad \text{BF}_{01}=\frac{1}{0.78}=1.29. \text{BF}_{01}=1.29>1 なので、データはむしろ「公正なコイン」をわずかに支持 しています。10回中7回の表は、直感的には「ちょっと表が多い」ように見えても、公正さを疑う証拠としては弱い のです。両側検定の p 値もこの例では約 0.34 で「公正さを棄却できない」とは言えますが、p 値は原理的に、帰無仮説を支持する証拠を与えることができません。周辺尤度の比は、公正さを積極的に支持する程度まで一目で示してくれます。
発展：ベイズファクターは事前分布に敏感 p(D\mid M_1) は尤度を事前分布で平均した量なので、M_1 の事前を広げるほど（ありそうもない \theta にまで確率を薄く配るほど）p(D\mid M_1) は小さくなり、ベイズファクターは M_0 寄りに動きます。逆に M_1 の事前を 0.5 の近くに集中させれば、同じデータでも結論は変わりえます。これは §4.3 のオッカムの剃刀の裏面で、欠陥ではなく仕様ですが、だからこそベイズファクターを報告するときはどんな事前分布を使ったかを明示し、事前を変えても結論が保つかを確かめるのが作法です。
5.8 次の1回を当てる ― 事後予測分布
学習の成果は「次はどうなるか」に使えて初めて意味をもちます。事後分布 \text{Beta}(a+k,\ b+n-k) を手にした今、次の1投が表になる確率は、\theta の不確かさを事後分布で平均して P(\textsf{次が表}\mid D)=\int_0^1 \theta\ p(\theta\mid D)\,d\theta=E[\theta\mid D]=\frac{a+k}{a+b+n} と求まります。これが 事後予測分布（posterior predictive distribution） です（表/裏の2値なので、この1つの数が分布を決めます）。数値例では \frac{1+7}{2+10}=0.667。一様事前（a=b=1）のときの \frac{k+1}{n+2} は ラプラスの継承則 として古くから知られる式です。周辺尤度が「データを見る前の予測力」だったのに対し、こちらは「学習した後の予測」― この対比は「機械学習の初歩」第7節（AIC と BIC）でふたたび主役になります。
6. 頻度主義との対比（まとめ）
| 観点 | 頻度主義 | ベイズ |
|---|---|---|
| 確率の意味 | 長期的な相対頻度 | 信念の度合い |
| パラメータ \theta | 未知だが 定数 | 確率変数（分布をもつ） |
| 答えの形 | 点推定＋信頼区間／p 値 | 事後分布（そこから平均・区間など） |
| 事前情報 | 原則使わない | 事前分布として明示的に使う |
| 区間の解釈 | 区間がランダム（95%の区間が母数を含む） | \theta がランダム（\theta が区間に入る確率95%） |
| 仮説の比較 | p 値（帰無仮説基準のみ） | ベイズファクター（2仮説を直接比較） |
どちらが正しい・優れているという話ではありません。問いの立て方と、手元にある事前情報をどう扱いたいかによって使い分けます。
7. なぜベイズは「計算が大変」と言われるのか
第5節のコインの例では、共役のおかげで事後分布も周辺尤度も 手で 求まりました。しかし一般のモデルでは、周辺尤度 p(D)=\int p(D\mid\theta)\,p(\theta)\,d\theta の積分が解析的に解けません。とくに \theta が多次元（パラメータがたくさん）になると、この積分は高次元積分となり、まともに計算できなくなります。これがベイズ統計の最大の技術的困難です。
そこで実際には、事後分布から 標本を生成して近似する 方法（マルコフ連鎖モンテカルロ法, MCMC など）が使われます。ここでいう「標本」は、これまでの章での標本（母集団から抽出したデータの集まり）とは意味が違う点に注意してください。生成するのはパラメータ \theta の値です。ベイズでは \theta 自身が分布（事後分布）をもつので、その分布から \theta の値を何千個も引き、ヒストグラムを描くようにして事後分布の形・平均・区間を近似します ― データの標本ではなく、パラメータの標本です。第7回「リサンプリングとシミュレーション」で学んだ「難しい計算を、乱数を使った計算で置きかえる」という発想の、強力な延長線上にあります。規格化定数 p(D) を直接求めずに事後分布の形だけをサンプリングで再現できる、という点が MCMC の巧妙なところです（詳細は本講義の範囲を超えます）。
まとめ：この章の幹
- ベイズの定理は順向きの確率（尤度）から逆向きの確率（事後）への橋。統計では「事後 \propto 尤度 \times 事前」。
- 登場人物は4人：事前・尤度・事後・周辺尤度。
- 周辺尤度 p(D)=\int p(D\mid\theta)p(\theta)\,d\theta は、(i) 事後を確率分布にする 規格化定数、(ii) モデルの 予測力＝エビデンス、(iii) ベイズファクター によるモデル比較の土台、という三役を担う。大標本では -2\ln p(D) を BIC で近似でき、ベイズファクターは BIC の差から手軽に見積もれる。
- 共役（ベータ–二項）なら、事後はパラメータの足し算 \text{Beta}(a+k,\ b+n-k)、周辺尤度はベータ関数の比で手計算できる。
- ベイズの区間（信用区間）は「\theta がそこに入る確率」と素直に読める。頻度主義の信頼区間との違いを押さえること。
- 一般には周辺尤度の積分が解けない。事後分布は シミュレーション（MCMC） で近似でき、周辺尤度そのものの評価にはブリッジサンプリング等の追加の工夫が要る。