3  確率分布のまとめ

この章は、講義で登場した主要な確率分布を一望し、それぞれが「何を表し」「どこでつながっているか」を数理の側から整理するためのものです。 前章「公式の導き方」の期待値・分散の道具とあわせて読むと、各分布の E[X]\text{Var}(X)与えられた事実ではなく導けるものとして見えてきます。


1. 分布を表す3つの関数

確率質量関数(PMF)── 離散の確率変数

「ちょうどその値をとる確率」。 p(x)=P(X=x),\qquad p(x)\ge 0,\qquad \sum_{x} p(x)=1.

確率密度関数(PDF)── 連続の確率変数

連続変数では1点をとる確率は0なので、「区間に入る確率=面積」で考える。 f(x)\ge 0,\qquad \int_{-\infty}^{\infty} f(x)\,dx=1,\qquad P(a\le X\le b)=\int_a^b f(x)\,dx. f(x) は確率そのものではなく 密度。だから f(x)>1 になることもある(面積が1ならよい)。

累積分布関数(CDF)── 離散・連続に共通

「その値以下になる確率」。 F(x)=P(X\le x). 連続のときは F(x)=\int_{-\infty}^{x} f(t)\,dt、逆に微分すると f(x)=F'(x)


2. 主要な確率分布のカタログ

分布 PMF / PDF パラメータ E[X] \text{Var}(X)
ベルヌーイ 離散 p^x(1-p)^{1-x}\ (x=0,1) p p p(1-p)
二項 離散 \binom{n}{k}p^k(1-p)^{n-k} n,p np np(1-p)
ポアソン 離散 \dfrac{e^{-\lambda}\lambda^k}{k!} \lambda \lambda \lambda
離散一様 離散 1/n(値 1,\dots,n が均等) n \dfrac{n+1}{2} \dfrac{n^2-1}{12}
連続一様 連続 \dfrac{1}{b-a}\ (a\le x\le b) a,b \dfrac{a+b}{2} \dfrac{(b-a)^2}{12}
正規 連続 \dfrac{1}{\sqrt{2\pi}\,\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \mu,\sigma \mu \sigma^2
指数 連続 \lambda e^{-\lambda x}\ (x\ge 0) \lambda 1/\lambda 1/\lambda^2
ベータ 連続 \dfrac{x^{a-1}(1-x)^{b-1}}{B(a,b)}\ (0<x<1) a,b>0 \dfrac{a}{a+b} \dfrac{ab}{(a+b)^2(a+b+1)}
カイ二乗 連続 標準正規の二乗和(§6で定義) 自由度 m m 2m
t 連続 標準正規 \div\sqrt{\textsf{カイ二乗}/\nu}(§6で定義) 自由度 \nu 0\ (\nu>1) \dfrac{\nu}{\nu-2}\ (\nu>2)
コーシー 連続 \dfrac{1}{\pi\gamma\left[1+\left(\frac{x-x_0}{\gamma}\right)^2\right]} x_0,\ \gamma>0 存在しない 存在しない

(カイ二乗分布と t 分布は、データそのものよりも 標本から計算した統計量 を表す「標本分布」です。PDF の式は複雑なので、ここでは式を書かず、定義と意味・つながりを §6 でまとめます。)


3. それぞれの分布の意味

  • ベルヌーイ分布:「成功=1/失敗=0」の1回きりの試行。コイン1枚、Yes/No。すべての出発点。
  • 二項分布:成功確率 p のベルヌーイ試行を n独立に繰り返したときの成功回数。n 枚のコインの表の数。
  • ポアソン分布:一定時間・空間に「まれな出来事」が起こる回数。1時間の来店客数、ある区画の誤植数。二項分布で n が大きく p が小さい極限。
  • 一様分布:どの値も等しく起こりうる。サイコロ(離散)、[0,1] の乱数(連続)。
  • 正規分布:左右対称の釣鐘型。たくさんのものを足す・平均すると現れる(中心極限定理)。
  • 指数分布:「次の出来事までの待ち時間」。ポアソンと表裏の関係。
  • ベータ分布01 の値、つまり「割合」や「確率そのもの」を表す連続分布。2つの形状パラメータ a,b で形が柔軟に変わり、a=b=1 なら一様分布になる。ベイズ統計では二項分布と相性のよい共役事前分布として活躍する(→「ベイズ統計の数理」第5節)。
  • カイ二乗分布:標準正規をいくつか二乗して足したもの。正の値だけをとる右に裾を引いた形で、「ばらつき(分散)」を扱う検定に現れる。自由度=足した本数。
  • t 分布:母標準偏差 \sigma を標本の s で代用したときに現れる「正規分布のいとこ」。左右対称だが正規より裾が重く、自由度が大きいほど正規分布に近づく。平均の検定(t 検定)の土台。
  • コーシー分布:正規分布に似た左右対称の山だが、裾が極端に重い。そのため平均も分散も存在しない(定義する積分が発散する)。実は標準コーシー分布(x_0=0,\gamma=1)は自由度1の t 分布に一致する。ベイズ統計では、「めったにないが極端に大きな値」も許容する弱情報事前分布としてよく使われる(たとえば効果量の事前分布。→「ベイズ統計の数理」)。裾の重さの実際の違いは 図 1 を見てください。
図 1: 正規・t\ (\nu=3)・コーシーの確率密度。左:中心付近はどれも左右対称の釣鐘型で見分けがつきにくい。右:縦軸を対数にすると裾の差は歴然 ― 正規は急速に落ちるのに対し、コーシー(=自由度1の t)は極端に裾が重く、遠く離れた値もそれなりの確率で出る。

(導出スケッチ)二項 → ポアソン:「n が大きく p が小さい極限」を式で確かめておきます。期待値 np=\lambda を保ったまま(p=\lambda/n として)n\to\infty とすると、 \binom{n}{k}p^k(1-p)^{n-k} =\underbrace{\frac{n(n-1)\cdots(n-k+1)}{n^k}}_{\to\ 1}\cdot\frac{\lambda^k}{k!}\cdot\underbrace{\Big(1-\frac{\lambda}{n}\Big)^{n}}_{\to\ e^{-\lambda}}\cdot\underbrace{\Big(1-\frac{\lambda}{n}\Big)^{-k}}_{\to\ 1} \ \longrightarrow\ \frac{e^{-\lambda}\lambda^k}{k!}. 二項分布の PMF が、そのままポアソン分布の PMF に流れ込みます。「まれな出来事の回数」という §3 の意味づけと、§7 の地図の矢印の裏づけです。


4. 連続分布での期待値・分散の計算(積分の練習)

定義は離散の和を積分に置きかえるだけ: E[X]=\int x\,f(x)\,dx,\qquad \text{Var}(X)=E[X^2]-(E[X])^2.

例:連続一様分布 f(x)=\dfrac{1}{b-a}\ (a\le x\le b)

期待値E[X]=\int_a^b x\cdot\frac{1}{b-a}\,dx =\frac{1}{b-a}\left[\frac{x^2}{2}\right]_a^b =\frac{b^2-a^2}{2(b-a)}=\frac{a+b}{2}.b^2-a^2=(b-a)(b+a) で約分。結果は「ちょうど真ん中」で直感どおり。)

分散:まず E[X^2]=\int_a^b x^2\cdot\frac{1}{b-a}\,dx =\frac{1}{b-a}\left[\frac{x^3}{3}\right]_a^b =\frac{b^3-a^3}{3(b-a)}=\frac{a^2+ab+b^2}{3}. よって \text{Var}(X)=E[X^2]-\left(\frac{a+b}{2}\right)^2 =\frac{a^2+ab+b^2}{3}-\frac{(a+b)^2}{4}=\frac{(b-a)^2}{12}.

例:正規分布 N(\mu,\sigma^2)E[X]=\mu\text{Var}(X)=\sigma^2

中心的な分布である正規分布でも、E\text{Var} は「与えられた事実」ではなく導けます。使う道具は、ガウス積分 \displaystyle\int_{-\infty}^{\infty}e^{-z^2/2}\,dz=\sqrt{2\pi}(これだけは既知とします)と置換積分です。z=\dfrac{x-\mu}{\sigma}x=\mu+\sigma z,\ dx=\sigma\,dz)と置換し、標準正規の密度を \varphi(z)=\frac{1}{\sqrt{2\pi}}e^{-z^2/2} と書くと、

期待値E[X]=\int_{-\infty}^{\infty} x\,\frac{1}{\sqrt{2\pi}\,\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx =\int_{-\infty}^{\infty}(\mu+\sigma z)\,\varphi(z)\,dz =\mu\underbrace{\int\varphi(z)\,dz}_{=1}+\sigma\underbrace{\int z\,\varphi(z)\,dz}_{=0}=\mu. (第2の積分は、z\varphi(z) が原点対称の奇関数なので 0。「平均は対称の中心」という直感の式版です。)

分散\text{Var}(X)=\sigma^2 E[Z^2](スケール公式)なので、E[Z^2]=\int z^2\varphi(z)\,dz を求めれば十分。\varphi'(z)=-z\,\varphi(z) に気づくと、部分積分で E[Z^2]=\int_{-\infty}^{\infty} z\cdot z\,\varphi(z)\,dz =\Big[-z\,\varphi(z)\Big]_{-\infty}^{\infty}+\int_{-\infty}^{\infty}\varphi(z)\,dz=0+1=1. よって \text{Var}(X)=\sigma^2。パラメータ \mu,\sigma^2 が期待値と分散そのものであることが、定義から確かめられました。


5. 正規分布と標準化

正規分布 N(\mu,\sigma^2) は平均 \mu を中心とした左右対称の釣鐘型で、\sigma が大きいほど横に広がる。

標準化 Z=\dfrac{X-\mu}{\sigma} を行うと、平均0・標準偏差1の 標準正規分布 N(0,1) になる。 (E[Z]=0\text{Var}(Z)=\dfrac{1}{\sigma^2}\text{Var}(X)=1。導出は「公式の導き方」第2節を参照。)

標準化のおかげで、単位や分布の異なるデータを共通のものさしで比較できる。 正規分布では、おおよそ次が成り立つ:

範囲 含まれる割合
\mu\pm1\sigma 約 68%
\mu\pm2\sigma 約 95%
\mu\pm3\sigma 約 99.7%

「平均 \pm 約2\sigma で95%」は、信頼区間や検定で使う 1.96 の出どころです。

この割合は、正規分布については理論から導かれる性質です。実際のデータに当てはめるときは、データがおおよそ正規分布に従うと想定できる場合、経験則として、標準偏差の何倍の範囲にデータのどれだけが収まるかを見積もることができます。


6. 標本分布の関係:正規・カイ二乗・t

§2〜§5 の分布は「データそのもの」を表すものでした。これに対して、標本から計算した統計量がどんな分布に従うか を表すのが 標本分布 です。検定や区間推定の土台になる 正規・カイ二乗・t の3つは、別々の分布ではなく、すべて標準正規 Z から作られる「一族」です。順に組み立てていきましょう。

6.1 出発点はいつも標準正規 Z

母標準偏差 \sigmaわかっている とき、標本平均を標準化した量は標準正規になる(正規母集団からの標本なら厳密に、一般の母集団でも標本が大きければ中心極限定理により近似的に): Z=\frac{\bar X-\mu}{\sigma/\sqrt n}\sim N(0,1). (分母 \sigma/\sqrt n は標本平均の標準偏差=標準誤差。導出は「公式の導き方」を参照。)この Z がすべての出発点です。

ここで暗黙に使っている土台を、一度だけ定理の形で書いておきます。

中心極限定理(CLT) 平均 \mu・分散 \sigma^2 をもつ同じ分布から独立に取った X_1,\dots,X_n について、 \frac{\bar X-\mu}{\sigma/\sqrt n}\ \xrightarrow{\ n\to\infty\ }\ N(0,1) (分布の形が標準正規に近づく、という意味)。元の分布がどんな形でも成り立ちます。「たくさん平均すると正規が現れる」という本書のあちこちの記述は、すべてこの定理の言い換えです。

6.2 カイ二乗分布 ── Z を二乗して足す

独立な標準正規 Z_1,\dots,Z_m\sim N(0,1)二乗和 が従う分布を、自由度 mカイ二乗分布 といいます。 \chi^2_m:=Z_1^2+Z_2^2+\cdots+Z_m^2,\qquad E[\chi^2_m]=m,\quad \text{Var}(\chi^2_m)=2m. 二乗の和なので 正の値しかとらず、右に裾を引いた非対称な形です(自由度 m が大きいほど左右対称に近づく)。平均が自由度 m にぴたりと等しいのは、E[Z_i^2]=\text{Var}(Z_i)=1m 個足すからです。

統計では「ばらつき(分散)」を測るときに現れます。実際、正規母集団から n 個を抽出したときの不偏分散 s^2n-1 で割る版)について \frac{(n-1)s^2}{\sigma^2}\sim\chi^2_{n-1} が成り立ちます(カテゴリデータの適合度検定でカイ二乗分布が現れるのも、観測度数を標準化すると標準正規の二乗和になるためです)。

なぜ自由度が n ではなく n-1 なのか、スケッチだけ描いておきます。「公式の導き方」第8節の分解 \sum_{i=1}^n(X_i-\bar X)^2=\sum_{i=1}^n(X_i-\mu)^2-n(\bar X-\mu)^2 で、右辺第1項を \sigma^2 で割れば標準正規の二乗和 n 本分(=\chi^2_n)、引かれる第2項は \big(\frac{\bar X-\mu}{\sigma/\sqrt n}\big)^2、つまり標準正規の二乗1本分です。基準を \bar X に取り替えると \sum_i(X_i-\bar X)=0 という縛りが1本入り、自由に動ける方向が1つ減る ― その1本分がちょうど抜けて、自由度 n-1 のカイ二乗が残る、という勘定になっています(厳密な証明には、正規母集団で \bar Xs^2独立になるという特別な事実を使います)。

6.3 t 分布 ── \sigma がわからないときの Z

現実には母標準偏差 \sigma は普通わかりません。そこで \sigma を標本標準偏差 s置きかえる と、標準正規からわずかにずれます。このずれを正確に表すのが t 分布です。定義は「標準正規 \div\ \sqrt{\textsf{カイ二乗}/\textsf{自由度}}」: t_\nu:=\frac{Z}{\sqrt{\chi^2_\nu/\nu}}\qquad(Z\ \textsf{と}\ \chi^2_\nu\ \textsf{は独立}). 分母の \chi^2_\nu は、ばらつきの推定 s^2 に対応します。s 自体が標本ごとにばらつくぶん、t は正規分布より 裾が重く(極端な値が出やすく)なります。

具体例:1標本 t 検定の統計量。 正規母集団を仮定すると、\sigmas で置きかえた標準化量は t=\frac{\bar X-\mu}{s/\sqrt n}\sim t_{n-1} となります。§6.1 の Z で分母の \sigmas に替えただけ、という対応がそのまま分布に表れています。

性質:左右対称で平均は 0\nu>1)、分散は \dfrac{\nu}{\nu-2}\nu>2)で 1より大きい(正規より広がっている)。自由度 \nu が小さいほど裾が重くなります。

6.4 自由度を大きくすると正規に戻る

t 分布は自由度 \nu を大きくすると標準正規に一致します: t_\nu\ \xrightarrow{\ \nu\to\infty\ }\ N(0,1). 直感はこうです ── 標本が大きいほど s\sigma に近づき、「\sigma を知っているのと変わらない」状態に近づく。だから大標本では t 検定と Z 検定はほぼ同じ結果になります(経験則として \nu\gtrsim 30 で差はごくわずか)。分散 \dfrac{\nu}{\nu-2}\to 1 となることからも、t がだんだん N(0,1) に締まっていく様子が読みとれます。

三者の関係を1枚の図にまとめます(図 2)。

図 2: 標本分布の一族。標準正規 Z を二乗して m 本足すとカイ二乗 \chi^2_mZ\sqrt{\chi^2_\nu/\nu} で割ると t_\nut は自由度 \nu を大きくすると標準正規に戻る。
  • 正規 … 母体。\sigma が既知なら統計量はそのまま Z
  • カイ二乗 … 正規の「二乗和」。ばらつきそのものを扱う。
  • t … 正規 ÷ カイ二乗の平方根。\sigmas で代用するぶんだけ裾が重い。

検定での使い分けも、この関係そのものです ── \sigma 既知なら Z\sigma 未知なら t、ばらつき自体を検定するならカイ二乗


7. 分布どうしのつながり(地図)

図 3: 主要な確率分布のつながり。幹は「ベルヌーイ → 二項」。極限のとり方で正規・ポアソンが現れ、正規を母体に標本分布の一族(濃い塗り:カイ二乗・t・コーシー)が枝分かれする。ベータへの点線はベイズ更新(確率 p の事前 → 事後)の関係。

幹は「ベルヌーイ → 二項」。そこから極限のとり方で正規分布・ポアソン分布が現れます。 また二項分布の確率 p を推定するベイズ更新では、その事前・事後分布として ベータ分布 が現れます(§3、「ベイズ統計の数理」)。 そして正規分布を母体に、二乗和でカイ二乗分布、\sigmas で代用すると t 分布 ── という 標本分布の一族(§6)が枝分かれします。t 分布の自由度を 1 まで下げると、裾が極端に重く平均も分散ももたない コーシー分布 になります。 期待値・分散の導出(特に二項分布の np,\ np(1-p))は「公式の導き方」第4節を参照してください。