発展編A　確率と読み出しの計算

同じデータでも、座標の選び方や、何を平均するかによって数字は変わる。この発展編では、第4〜6章で使った結論を、条件を一つずつ確かめながら計算し直す。最初から通読する必要はない。本文の式に立ち戻りたくなった項を開いてほしい。

A.1 ノイズ天井に平方根が現れる理由

読む前に：第4章第1節、第5章第1節。

ここで確かめること：測定どうしの一致と、完全な予測モデルが到達できる一致は、なぜ同じ値ではないのか。

同じ刺激を二回測った応答を y_1=\mu_s+\varepsilon_1、y_2=\mu_s+\varepsilon_2 とする。\mu_s は刺激ごとの真の平均応答、\varepsilon_1,\varepsilon_2 は試行ごとの揺らぎである。揺らぎは平均ゼロ、試行間で独立、\mu_s と無相関で、どちらも分散 V_\varepsilon を持つと仮定する。刺激にわたる平均応答の分散を V_\mu>0 と書こう。

二回に共通する変動は \mu_s だけである。したがって共分散は V_\mu、それぞれの測定の分散は V_\mu+V_\varepsilon。共分散を二つの標準偏差で割れば、測定間の相関になる。

\rho=\operatorname{Corr}(y_1,y_2) =\frac{V_\mu}{V_\mu+V_\varepsilon}.

いっぽう、真の平均を完全に当てるモデルには、試行ごとの揺らぎが乗っていない。その出力と一回の測定との相関は、

\begin{aligned} \operatorname{Corr}(\mu_s,y_1) &=\frac{V_\mu}{\sqrt{V_\mu(V_\mu+V_\varepsilon)}} &&\textsf{(モデル側の分散は }V_\mu\textsf{)}\\ &=\sqrt{\frac{V_\mu}{V_\mu+V_\varepsilon}} =\sqrt\rho. \end{aligned}

片方だけに揺らぎがあるので、二つの測定を比べたときとは分母が違ったのである。独立な m 試行の平均を予測するなら、揺らぎの分散を V_\varepsilon/m に替える。同じモデルでも、予測対象を一回の応答から試行平均へ替えると、相関の天井は上がる。

指標の違いも分けておこう。測定値 y_i、予測値 \hat y_i、測定値の平均 \bar y に対し、説明できた分散の割合は

R^2=1-\frac{\sum_i(y_i-\hat y_i)^2}{\sum_i(y_i-\bar y)^2}

と定める。これは相関係数 r の二乗とは一般に異なる。予測の平均や振幅がずれても相関は高くなりうるが、そのずれは二乗誤差には入るからだ。「天井の何割」と書く前に、予測対象、指標、天井補正の前か後かをそろえよう。有限データから推定した天井にも揺らぎがあるため、それをわずかに超えた値だけで理論が破れたとは言えない。

A.2 変換で密度の峰が動く条件

読む前に：第5章第2節。

ここで確かめること：変換前の最頻値を写した先が、変換後の最頻値になるために、何が障害になるのか。

Y=g(X) とし、元の密度 p_X が正で微分可能な範囲を考える。変換 g は一対一で二回微分可能、g'(x)\ne0 とする。確率の保存から得た公式は

p_Y(g(x))=\frac{p_X(x)}{|g'(x)|}

だった。左辺にも x が入っていることに注意してほしい。これは変換後の密度を、元の座標で眺めた関数である。対数を取って微分すると、

\begin{aligned} \frac{d}{dx}\ln p_Y(g(x)) &=\frac{d}{dx}\{\ln p_X(x)-\ln|g'(x)|\}\\ &=\frac{p_X'(x)}{p_X(x)}-\frac{g''(x)}{g'(x)}. \end{aligned}

右辺の第一項は元の密度の傾き、第二項は写像の傾きが場所によって変わる効果である。左辺を連鎖律で展開すれば、y での微分に g'(x) が掛かる。これがゼロでないから、微分がゼロになる点は二つの座標で対応する。

x^* がこの範囲の内側にある滑らかなモードなら、第一項はゼロになる。だが g''(x^*)\ne0 なら第二項が残る。その像は、変換後の密度の停留点—微分がゼロになる点—にすらならない。元の峰の場所で、変換後はまだ坂の途中なのである。

逆に g''(x^*)=0 なら十分だろうか。まだ足りない。分かるのは停留点であることまでで、最大とは限らない。他の場所で |g'| が小さければ、割り算によってそちらの密度が高くなりうる。最大を求めるには、候補どうしの高さまで比べる必要がある。

線形変換なら |g'| が一定だから、モードは対応する。非線形でも、本文の X\sim\mathcal N(0,1)、g(x)=x+x^3 なら対応した。上式に代入すると -x-6x/(1+3x^2) で、x<0 で正、x>0 で負になる。したがって x=0 を境に上り坂から下り坂へ変わり、そこが最大である。「非線形なら必ずずれる」ではなく、「保存を当てにできない」と言うべき理由が、ここにある。

A.3 幅を広げると情報が増える場合

読む前に：第6章第5節。

ここで確かめること：チューニングの鋭さと参加する細胞の数の競合が、刺激の次元によってどう変わるのか。

Zhang と Sejnowski (1999) の結果を、条件と一緒に読もう。細胞の好み刺激は一様かつ十分密に並び、刺激空間の境界の影響を無視できるとする。応答は細胞間で独立なポアソン分布、チューニングは等方的なガウス型で、細胞数と最大発火率を固定する。ここで等方的とは、刺激空間のどの方向にも同じ幅を持つという意味である。

幅を \sigma>0、刺激の次元を D とすると、この条件ではフィッシャー情報行列は

\mathcal I=c\,\sigma^{D-2}\mathrm{Id}

となる。c>0 は幅に依存しない比例定数、\mathrm{Id} は D\times D の単位行列である。各方向の情報量が同じで、それぞれ \sigma^{D-2} に比例すると読む。

幅を広げると、応答に参加する細胞の広がりは D 次元ぶん増す。一方で、チューニングの傾きは緩やかになる。情報量の式には傾きの二乗が入っていた。この二つの効果が、指数 D-2 にまとまっている。

刺激の次元	幅への依存	この条件で有利なのは
一次元	1/\sigma	鋭いチューニング
二次元	\sigma^0=1	幅によらない
三次元以上	\sigma の正のべき	広いチューニング

ただし、幅を広げても最大発火率を固定しているので、総発火量は増える。活動の費用を同じにした比較ではない。総発火量も固定する、好み刺激の配置をまばらにする、ノイズ相関を入れるといった変更には、改めて計算が必要になる。一様で密な配置という近似が使える範囲を外れて、幅をどこまでも広げてよいわけでもない。

「鋭いほどよい」という直感を疑うだけで終わらず、「何を固定した比較か」を確かめよう。神経集団の最適性を読むときの、このひと手間が大事なのである。出典の書誌は第6章末にある。

A.4 下界との近さから何が言えるか

読む前に：第6章第5節。

ここで確かめること：下界に近い数値、推定の偏り、観測時間を増やした極限を、どう分けて確かめるか。

第6章の小実験では、標準偏差の Cramér–Rao 下界が約1.73度、最尤デコーダで測った標準偏差が約1.71度だった。下界より小さく見えるが、その差だけでは矛盾とは言えない。比べている片方は理論値、もう片方は有限回の試行から求めた標本の値だからである。

確認したいことは三つある。まず、測った標準偏差自体のばらつき。この実験では4000試行でも約0.02度揺らぎ、下界との差はその程度に収まる。次に、推定法の偏りである。下界を本文の単純な形で使うには不偏性などの条件が要る。推定の平均が真値からずれていれば、分散だけでなく、偏りと二乗平均誤差も見る。ただし、標本の平均のずれだけで推定法そのものの偏りが確定するわけではない。平均にも有限試行の揺らぎがある。

第三に、どの極限を調べたかである。同じ観測時間の試行を増やせば、標準偏差や平均を測る精度は上がる。それとは別に、一試行の観測時間を延ばせば、推定に使う期待スパイク数が増える。観測時間とともに標準偏差と下界の比が1へ近づくことを確かめたいなら、後者を変えて比較しなければならない。

一つの観測時間の結果から言えるのは「この条件では下界に近い」までである。第6章の「手を動かす」のWeb版では、同じ配布コードで得た数値を使い、これらを分けて点検する。

参考文献

計算の前提と出典の書誌は、第4章、第5章、第6章にある。A.3のチューニング幅の結果は、第6章末のZhangとSejnowski (1999) を参照してほしい。