6  デコーディング ── 応答から刺激を読み出す

第4章では、刺激から応答への写像を書いた。s \to \mathbf{r} である。本章では、その矢印を逆に辿る。

\mathbf{r} \;\longrightarrow\; \hat{s}

なぜ逆向きに読むのか。動機は少なくとも三つある。

第一に、脳自身がやっていることだから。V1 の活動は、そのまま行動になるわけではない。下流の領野がそれを「読み出して」判断や運動に変える。読み出せる情報の量と質が、行動の性能を規定する。

第二に、実験の道具として。「この領野の活動から刺激が読み出せた」という事実は、その領野が刺激の情報を持っていることの証拠になる。神経科学の標準的な解析手法である。

第三に、応用として。脳活動から意図や知覚内容を読み出せれば、ブレイン・マシン・インターフェースになる。第15章第10節で、脳活動から画像を再構成する話まで進む。そこでは「デコーディング」という言葉自体が問い直されることになる。

そして本章には、後の章への種が二つ蒔かれる。第5節のフィッシャー情報量（Fisher information）は第11章第5節で表現幾何と同じ式だったと明かされ、第8節の問い—読み出せることと使われていることの違い—は第12章第10節で回収される。

ヒント本章のガイド

第2〜3節が古典的な手法、第4〜5節が確率的な定式化、第6〜7節が機械学習との合流である。

第5節が本章の要である。フィッシャー情報量とチューニング曲線の傾きの関係を、式で追ってほしい。ここで得る \mathcal{I} = J^\top\Sigma^{-1}J という形が、第11章でそのまま表現幾何の言葉に翻訳される。

第8節は短いが、本書全体でいちばん厄介な問いを提起する節である。答えは第12章まで持ち越される。

1. デコーディングという問題設定

順問題と逆問題

第4章で扱ったのは順問題だった。刺激が与えられたとき、応答がどうなるか。物理的な因果の向きに沿っている。

本章は逆問題である。応答から刺激を推定する。因果の向きに逆らっている。

逆問題は、一般に順問題より難しい。理由は二つある。

第一に、一意でない。複数の刺激が同じ応答を生むなら、応答から刺激を決められない。第4章第5節の複雑細胞は、まさに位相の情報を捨てていた—捨てられた情報は、原理的に読み出せない。

第二に、ノイズがある。同じ刺激でも応答は毎回違う（第2章第6節）。だから推定には必ず誤差が伴う。

定式化

刺激を s、応答を \mathbf{r} = (r_1, \dots, r_N)^\top とする。デコーダとは写像

\hat{s} = g(\mathbf{r})

である。良いデコーダとは何かを決めるには、評価基準が要る。連続量なら二乗誤差 \mathbb{E}[(\hat{s}-s)^2]、離散なら正答率が使われる。

二つの立場

デコーディングには、性格の違う二つの立場がある。混同されやすいので、最初に分けておきたい。

立場1：脳の読み出し機構のモデルとして。下流のニューロンが実際にどう読み出しているかを問う。この場合、デコーダは生物学的に実現可能でなければならない—重み付き和くらいの単純さが要求される。第2節の population vector がこれである。

立場2：実験者の解析道具として。「情報が存在するか」を調べたい。この場合、デコーダが生物学的である必要はない。可能な限り強力な手法を使ってよい。第6節の MVPA はこちらである。

この区別が曖昧になると、混乱が生じる。「デコードできた」という結果が、「脳がその情報を使っている」ことを意味するのか—という問いが、第8節の主題になる。

用語の注意 ── 「エンコード／デコード」は二通りある

もう一つ、先に釘を刺しておきたい。この二つの言葉は、神経科学と機械学習で違う意味に使われる。

神経科学の用法。符号化が刺激 → 脳活動、復号が脳活動 → 刺激。基準は物理的な因果の向きである。本章がいま使っているのは、この意味である。

機械学習の用法。符号化器が観測 → 潜在表現、復号器が潜在表現 → 観測。基準は表現の抽象度であって、因果とは関係がない。第14章の VAE で、この意味で使うことになる。

同じ言葉が、違う基準で使われている。さらに厄介なのは、両者が交差する場面があることだ。脳活動と DNN の内部表現を対応づける研究では、どちらの言葉遣いも成り立ちうる—そしてそのとき、どちらの意味で言っているのかが曖昧になる。

この問題への一つの処方が、Kamitani、Tanaka ら (2025) の提案である。脳活動も DNN 特徴量も、同じ刺激から作られた潜在特徴であって、両者のあいだに因果の向きはない—だから符号化／復号ではなく、双方向の翻訳（translation）と呼ぶ。第15章第10節で詳しく扱う。

いまの段階では、次のことだけ頭の隅に置いておいてほしい。「デコーディング」という語を見たら、何から何への写像を指しているのかを、そのつど確かめる。それだけで避けられる誤解が、この分野にはかなりある。

2. population vector ── 単純だが強力な線形読み出し

発想

Georgopoulos らは1986年、サルの運動皮質で次のことを見出した。個々の細胞は、腕を動かす方向に対して広いチューニングを持つ。特定の方向でもっともよく発火し、そこから離れるにつれて緩やかに落ちる。

r_i(\theta) = r_0 + r_{\max}\cos(\theta - \theta_i)

\theta_i が細胞 i の好み方向である。

チューニングが広いということは、一個の細胞では方向を特定できないということだ。ある発火率を出す方向は、好み方向の両側に二つある。

では集団ならどうか。Georgopoulos らの提案はこうである。各細胞の好み方向のベクトルを、発火率で重み付けて足す。

\hat{\mathbf{v}} = \sum_{i=1}^{N} \big(r_i - r_0\big)\, \mathbf{u}_i

\mathbf{u}_i は細胞 i の好み方向の単位ベクトルである。この \hat{\mathbf{v}} を population vector と呼ぶ。

なぜ機能するのか

計算してみよう。刺激方向を \theta、好み方向が一様に分布しているとする。\mathbf{u}_i = (\cos\theta_i, \sin\theta_i)^\top である。

x 成分を計算する。

\begin{aligned} \hat{v}_x &= \sum_i r_{\max}\cos(\theta-\theta_i)\cos\theta_i \\ &= r_{\max}\sum_i \big(\cos\theta\cos\theta_i + \sin\theta\sin\theta_i\big)\cos\theta_i &&\textsf{(加法定理で展開)}\\ &= r_{\max}\Big( \cos\theta \sum_i \cos^2\theta_i + \sin\theta\sum_i \sin\theta_i\cos\theta_i \Big) \end{aligned}

好み方向が一様に分布していれば、\sum_i \cos^2\theta_i \approx N/2、\sum_i \sin\theta_i\cos\theta_i \approx 0 である（後者は \sin 2\theta_i の和がゼロになるため）。したがって

\hat{v}_x \approx \frac{N r_{\max}}{2}\cos\theta

同様に \hat{v}_y \approx (Nr_{\max}/2)\sin\theta。つまり \hat{\mathbf{v}} の向きが \theta を与える。大きさは定数倍だが、方向を知りたいだけなら問題ない。

要点は「好み方向が一様に分布していること」である。偏っていれば推定にバイアスが出る。

利点と限界

利点。単純な重み付き和なので、下流のニューロンが実行できる。生物学的な妥当性が高い。しかも一個の細胞のノイズは、多数を足し合わせることで打ち消される。

限界。最適ではない。ノイズの大きさが細胞ごとに違っても、細胞間に相関があっても、population vector はそれを考慮しない。次節以降で、より原理的な方法を見る。

3. 信号検出理論

二択の問題

方向のような連続量ではなく、二つの選択肢を区別する問題を考える。「刺激はあったか、なかったか」「動きは右か左か」。

ある細胞の発火率を観察して判断するとしよう。刺激ありのときの発火率分布 p(r \mid \text{有}) と、なしのときの分布 p(r\mid\text{無}) が、重なっている。

判断は閾値で決める。r > c なら「あり」、r \le c なら「なし」。すると四つの結果がある。

実際に有 実際に無
「あり」と判断 ヒット 偽陽性（false alarm）
「なし」と判断 ミス 正棄却

ROC 曲線

閾値 c を動かすと、ヒット率と偽陽性率が一緒に動く。c を下げれば両方増え、上げれば両方減る。

横軸に偽陽性率、縦軸にヒット率を取って、c を動かしたときの軌跡を描く。これが ROC 曲線（receiver operating characteristic）である。

  • 二つの分布が完全に重なっていれば、ROC 曲線は対角線になる（判別不能）
  • 完全に分離していれば、左上の角を通る（完全判別）

ROC 曲線の下の面積（AUC）が、判別能力の指標として使われる。0.5 がチャンスレベル、1.0 が完璧である。

AUC には美しい解釈がある。「刺激ありの試行と刺激なしの試行をランダムに一つずつ取ったとき、前者の発火率が後者より高い確率」に等しい。閾値の選び方に依存しない指標になっているわけだ。

d'

両方の分布が等分散のガウス分布なら、判別能力は一つの数で書ける。

d' = \frac{\mu_{\text{有}} - \mu_{\text{無}}}{\sigma}

「平均の差を、ばらつきで割ったもの」である。効果量そのものだ。

神経応答と行動の比較

Britten らは1992年、この枠組みで印象的な実験をした。サルに運動方向の弁別課題をさせながら、MT 野の細胞を記録したのである。

個々の細胞の応答から計算した弁別能力（neurometric function）と、サル自身の行動成績（psychometric function）を比べる。

結果は驚くべきものだった。一個の細胞の弁別能力が、サル全体の行動成績とほぼ同等だった。

この結果の解釈は、単純ではない。素朴には「一個の細胞で足りている」と読めるが、そうではあるまい。むしろ次のように考えられている—細胞間にノイズ相関があるため、多数の細胞を足しても精度が期待ほど上がらない。だから「一個分」に見える。

ノイズ相関の問題は、次節以降で扱う。

4. 最尤デコーディングとベイズデコーディング

尤度

確率的に定式化しよう。刺激 s のもとでの応答の分布 p(\mathbf{r}\mid s) が分かっているとする—これは第4章のエンコーディングモデルに、ノイズのモデルを加えたものである。

観測 \mathbf{r} を固定して s の関数と見たものが尤度である。

L(s) = p(\mathbf{r}\mid s)

最尤デコーディングは、これを最大にする s を答えとする。

\hat{s}_{\text{ML}} = \arg\max_s\, p(\mathbf{r}\mid s)

ポアソンノイズの場合

具体的に計算しよう。細胞 i のチューニング曲線を f_i(s) とし、スパイク数 n_i が平均 f_i(s)T のポアソン分布に従うとする（T は観測時間。以下 T=1 とする）。細胞間は独立とする。

p(\mathbf{n}\mid s) = \prod_{i=1}^{N} \frac{f_i(s)^{n_i}}{n_i!}\, e^{-f_i(s)}

対数を取る。

\log p(\mathbf{n}\mid s) = \sum_i \Big( n_i \log f_i(s) - f_i(s) - \log n_i! \Big)

第三項は s によらないので落とせる。また、チューニング曲線の総和 \sum_i f_i(s) が s によらない（好み方向が一様なら、そうなる）としよう。すると

\hat{s}_{\text{ML}} = \arg\max_s\; \sum_i n_i \log f_i(s)

この形が面白い。「スパイク数で重み付けた \log f_i(s) の和」を最大化している。各細胞が \log f_i(s) という「投票用紙」を持っていて、スパイク数の分だけ投票する—という読み方ができる。

さらに、f_i がガウス型のチューニング曲線 f_i(s) = A\exp(-(s-s_i)^2/2\sigma^2) なら、\log f_i(s) = \log A - (s-s_i)^2/2\sigma^2 である。代入して整理すると、

\hat{s}_{\text{ML}} = \frac{\sum_i n_i s_i}{\sum_i n_i}

スパイク数で重み付けた好み刺激の平均—population vector と同じ形になった。つまり population vector と最尤推定は、同じ構造をしている—どちらも好み刺激を発火数で重み付けて平均する。第2節の素朴な手法に、原理的な裏づけが与えられたわけである。（厳密に一致させるには、第2節の定義にあったベースライン r_0 の扱いと、\sum_i f_i(s) が s によらないことが要る。）

ベイズデコーディング

事前分布 p(s) を持ち込むと、事後分布が計算できる。

p(s\mid \mathbf{r}) = \frac{p(\mathbf{r}\mid s)\, p(s)}{p(\mathbf{r})}

MAP 推定は事後分布を最大にする s、事後平均は \mathbb{E}[s\mid\mathbf{r}] である。二乗誤差を最小にするのは後者である。

事前分布の効果は、データが少ないときに大きい。観測が曖昧なら、事前分布のほうへ引っ張られる。

知覚のバイアスとの対応

この枠組みは、知覚のバイアスを説明する道具にもなる。

たとえば、人間は運動速度を過小評価する傾向がある。ベイズ的な説明はこうだ—「物体は静止していることが多い」という事前分布があるなら、速度の推定は遅いほうへ引っ張られる。刺激のコントラストが低くて曖昧なときほど、この効果が強くなる。実際そうなることが確かめられている。

ただし注意も要る。「事前分布を適当に選べば、どんなバイアスも説明できる」という批判が可能である。事前分布を独立に測定できなければ、説明は後づけになる。第16章第7節で自由エネルギー原理に向けられる批判と、同じ構造の問題である。

5. フィッシャー情報量と Cramér–Rao 下界

ここで導入するフィッシャー情報量は、第11章で表現の計量として再び現れる。

推定の精度に限界はあるか

どんなに良いデコーダを作っても、超えられない精度の限界があるはずだ。その限界を与えるのが Cramér–Rao 下界である。

フィッシャー情報量の定義

フィッシャー情報量は、次で定義される。

\mathcal{I}(s) = \mathbb{E}\left[ \left( \frac{\partial}{\partial s}\log p(\mathbf{r}\mid s) \right)^2 \right] = -\mathbb{E}\left[ \frac{\partial^2}{\partial s^2}\log p(\mathbf{r}\mid s) \right]

（二つの表式が一致することは、\int p\, d\mathbf{r} = 1 を s で微分すれば示せる。）

読み方。\partial \log p/\partial s は「s を少し変えたとき、その観測の尤度がどれだけ変わるか」である。これが大きいということは、s の違いが観測に強く現れるということだ。だから精度よく推定できる。

第二の表式は「対数尤度の曲率」である。尤度の山が鋭いほど、推定が精密になる。

Cramér–Rao 下界

定理。任意の不偏推定量 \hat{s} に対して、

\mathrm{Var}[\hat{s}] \ge \frac{1}{\mathcal{I}(s)}

不偏である限り、どんな方法を使ってもこれより精度は上がらない。 デコーダの設計とは無関係に、応答の統計的性質だけで決まる限界である。逆に言えば、偏りを許せばこの形の下界は直接には効かない—バイアスと分散を引き換えにする余地は残っている（第9章第1節）。

ポアソンノイズでの計算

チューニング曲線からフィッシャー情報量を計算しよう。前節と同じ設定（独立なポアソン）で、

\log p(\mathbf{n}\mid s) = \sum_i \big( n_i\log f_i(s) - f_i(s)\big) + \text{const}

s で二回微分して期待値を取る。まず一回目。

\frac{\partial}{\partial s}\log p = \sum_i \left( n_i \frac{f_i'(s)}{f_i(s)} - f_i'(s) \right)

もう一回微分する。n_i を含む項からは商の微分が、-f_i' からは -f_i'' が出る。後者は期待値を取ると前者の一部と打ち消し合う。

\frac{\partial^2}{\partial s^2}\log p = \sum_i \left( n_i \frac{f_i''f_i - (f_i')^2}{f_i^2} - f_i'' \right)

期待値を取る。\mathbb{E}[n_i] = f_i(s) だから、

\begin{aligned} \mathbb{E}\left[\frac{\partial^2 \log p}{\partial s^2}\right] &= \sum_i \left( f_i \cdot \frac{f_i'' f_i - (f_i')^2}{f_i^2} - f_i'' \right) &&\textsf{(} n_i \textsf{ に期待値を代入)}\\ &= \sum_i \left( f_i'' - \frac{(f_i')^2}{f_i} - f_i'' \right) &&\textsf{(第一項を展開)}\\ &= -\sum_i \frac{(f_i')^2}{f_i} &&\textsf{(} f_i'' \textsf{ が打ち消し合った)} \end{aligned}

符号を変えて、

\boxed{\;\mathcal{I}(s) = \sum_{i=1}^{N} \frac{f_i'(s)^2}{f_i(s)}\;}

この式を読む

分子が f_i'(s)^2 であることが決定的である。

情報を担っているのは、チューニング曲線の傾きであって、高さではない。細胞がもっとも強く発火する刺激（f_i' = 0 となる好み刺激）では、その細胞は情報を提供していない。刺激が少し変わっても発火率が変わらないからだ。

もっとも情報を提供するのは、チューニング曲線の側面である。

これは直感に反するかもしれない。「好みの刺激によく応じる細胞が、その刺激について情報を持つ」と思いたくなる。だが推定という観点からは逆である。

チューニング幅と精度

では、チューニング曲線は鋭いほうがよいのか。

一次元の刺激なら、鋭いほうがよい。幅 \sigma のガウス型チューニングで計算すると、\mathcal{I} \propto 1/\sigma となる（細胞数を固定して幅を変えた場合）。鋭いほど傾きが急になるからだ。

だが高次元では話が変わる。D 次元の刺激空間では、\mathcal{I} \propto \sigma^{D-2} という結果が知られている。D > 2 なら、幅が広いほうが情報が多い。鋭いチューニングだと、大部分の細胞がゼロ応答になってしまい、無駄が生じるからである。

「最適なチューニング幅」は、刺激空間の次元に依存する。単純な直感が通用しない例である。

ノイズ相関

以上は細胞間が独立という仮定のもとだった。実際には相関がある。多変量ガウスノイズなら、フィッシャー情報量は行列になる。

\mathcal{I}(s) = \mathbf{f}'(s)^\top \Sigma^{-1} \mathbf{f}'(s)

多次元の刺激なら、\mathbf{f}' はヤコビアン行列 J = \partial\mathbf{f}/\partial s になり、

\mathcal{I}(s) = J^\top \Sigma^{-1} J

この形を覚えておいてほしい。

相関の効果は単純ではない。相関があると情報が減ると思われがちだが、増えることもある。鍵は「ノイズの相関構造が、信号の方向と揃っているかどうか」である。信号と同じ方向のノイズは有害だが、直交する方向のノイズは無害—というより、それを差し引くことで精度が上がりうる。

ここがポイント

\mathcal{I}(s) = J^\top\Sigma^{-1}J 情報を担うのはチューニング曲線の傾き（J）であり、それをノイズ共分散の逆行列で重み付ける。

この式は第11章第5節でそのまま再登場する。そこでは同じ J が「表現空間への写像のヤコビアン」として現れ、J^\top J が表現の計量になる。デコーディングの精度と表現の幾何は、同じ式で書かれていたことが明かされる。

ヒント手を動かす

フィッシャー情報量を数値で確かめよう。コードは コード/06_fisher.py にある。N=32 個の細胞が好み方位を [0,180) に等間隔に持ち、フォン・ミーゼス型のチューニング f_i(\theta) = A\exp\!\big(\kappa(\cos(2(\theta-\theta_i))-1)\big)（最大 A=20 spikes/s）を持つとする。

A, N = 20.0, 32           # 最大発火率 [spikes/s]、細胞数
prefs = np.linspace(0, 180, N, endpoint=False)

def f(theta, kappa):      # チューニング曲線（度で受ける）
    d = np.deg2rad(2*(theta[..., None] - prefs))
    return A*np.exp(kappa*(np.cos(d) - 1))

def fisher(theta, kappa):     # I(θ) = Σ f'^2 / f
    d = np.deg2rad(2*(theta[..., None] - prefs))
    fi = A*np.exp(kappa*(np.cos(d) - 1))
    dfi = fi*(-kappa*np.sin(d))*np.deg2rad(2)
    return (dfi**2/fi).sum(-1)

# 最尤デコーダ：ポアソン発火から θ を推定する
grid = np.linspace(0, 180, 1801)
F = f(grid, kappa)
n = rng.poisson(f(np.array(true), kappa))   # 1秒ぶん
ll = (n*np.log(F) - F).sum(-1)              # 対数尤度
est = grid[ll.argmax()]

まず \theta 依存性を見る。

\kappa 0.5 1 2 4 8 16
\mathcal{I}(\theta) の平均 0.061 0.162 0.336 0.558 0.837 1.215
\mathcal{I} の最大/最小 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000
1/\sqrt{\mathcal{I}} [度] 4.05 2.48 1.73 1.34 1.09 0.91

\mathcal{I} が \theta にまったく依存しない（最大と最小の比が小数第6位まで 1）。細胞が等間隔に十分たくさんあると、個々の細胞の情報の凸凹が完全に打ち消し合う—どの方位も同じ精度で読み出せる、ということである。

次に、最尤デコーダの誤差を Cramér–Rao 下界と比べる。\kappa=2、真値 37 度、4000 試行で

  • 推定の標準偏差 — 1.711 度
  • Cramér–Rao 下界 1/\sqrt{\mathcal{I}} — 1.726 度

下界にほぼ達している。最尤推定が漸近的に有効であることが、目に見える形で確かめられた。

そして問い—\kappa を上げるほど \mathcal{I} が増えている。「鋭いチューニングほどよい」と結論してよいだろうか。これは刺激が一次元だからで、次元が上がると話が変わる（ヒント：鋭くすると、どの細胞も応答しない方位が出てくる）。

6. 多変量パターン解析（MVPA）

実験者の道具として

第1節の「立場2」に移る。生物学的な妥当性を気にせず、情報があるかどうかを調べるための手法である。

なぜこの立場が要るのかを、第4章第1節のノイズ天井と並べて見ておきたい。エンコードモデルは応答そのものを予測しようとするが、応答は試行ごとに揺らぐので、天井が低い。いっぽうデコーディングは、応答が表している内容の側で成績を測る。方位が当たったか、カテゴリが当たったか、である。

同じデータでも、内容の側で測るほうが手応えのある数字になりやすい。 個々のボクセルの応答はほとんど予測できなくても、数百のボクセルを重み付きで足し合わせれば、方位は八割方当たる—そういうことが起こる。揺らぎは足し合わせで薄まるが、内容は薄まらないからである。

これは統計的な便宜であると同時に、何を主張したいのかの選択でもある。応答を当てたいのか、内容が取り出せることを示したいのか。第8節でこの選択の代償に戻る。

fMRI で脳活動を測ると、数万個のボクセルの値が得られる。ここから刺激のカテゴリを予測できるか—これが多変量パターン解析（multi-voxel pattern analysis, MVPA）である。

手続きは機械学習そのものだ。

  1. 刺激とボクセルパターンの組を集める
  2. 訓練データで分類器（多くは線形 SVM やロジスティック回帰）を学習
  3. テストデータで正答率を評価

第3ステップが決定的である。訓練データでの正答率は意味がない。独立なデータで評価しなければ、過学習を情報と取り違える。

なぜ「多変量」なのか

従来の fMRI 解析は、ボクセルごとに独立に検定していた（単変量解析）。「この条件でこのボクセルの活動が上がる」という形である。

MVPA が変えたのは、個々のボクセルでは差がなくても、パターン全体としては区別できる場合を捉えられる点である。

Kamitani と Tong (2005) は、V1 の活動パターンから、被験者が見ている線分の方位が読み出せることを報告した。

これは当時、驚きをもって受け止められた。fMRI の解像度（数ミリメートル）は方位コラムの大きさ（数百マイクロメートル）よりずっと粗い。個々のボクセルの中で方位選択性が平均化されて消えてしまうはずだった。

提案された説明はこうである。ボクセルごとに、どのコラムをどれだけ拾うかにわずかな偏りがある。一つひとつは微弱でも、何百というボクセルを適切な重みで足し合わせれば、有意な信号になる。粗い計測から細かい構造を取り出す—この「解像度を超える読み出し」の仕組みは、いまも完全には決着していない（血管構造の寄与を指摘する議論もある）。

決着していないが、方法論としての含意は大きかった。限られた数のチャネルからでも詳細な情報が取り出せる—ブレイン・マシン・インターフェースへの道は、この一点から開いている。

さらにこの研究は、両眼視野闘争や注意といった主観的な状態もデコードできることを示した。物理的な刺激ではなく、被験者が何を意識しているかが読み出せる—デコーディングが心的状態の測定になりうることを示した点で、大きな影響を持った。

なぜ読み出しは線形でなければならないか

この研究には、もう一つ方法論上の主張がある。デコーダは線形でなければならない、という主張である。

理由は単純だ。強力な非線形デコーダを使うと、読み出せた情報が「脳にあった」のか「デコーダが作った」のかが区別できなくなる。十分に複雑なモデルは、明示的に表現されていない情報でも、計算によって取り出してしまう。

同じ論文が、この点をシミュレーションで示している。縞模様の画像を用意し、方位を分類しようとする。

  • ピクセル値をそのまま特徴に使う — 位相をランダム化すると、分類できなくなる
  • 線形フィルタを通し、さらに非線形なユニットを通す — 位相をランダム化しても、方位に応じた活性のパターンが現れ、分類できる

同じ画像なのに、どんな処理を経たかで「読み出せるか」が変わる。つまりデコードの成否は、情報がどの段階で明示的になっているかを測っている。読み出しを線形に限るのは、この測定を成り立たせるための条件なのである。

ここがポイント

「線形に読み出せる」ことを情報の基準に採る—この方法論は、その後まったく別の分野で広く使われるようになった。

深層ネットワークの各層に線形分類器を当てて「どの層に何が明示的にあるか」を調べる線形プローブ（linear probe）が、いまや解釈研究の標準的な道具である。大規模言語モデルの内部を調べる線形表現仮説（第18章第1節）も、同じ発想の上に立っている。

脳を対象に立てられた「どの階層に、どんな情報が、明示的に表現されているか」という問いの立て方が、そのまま人工のネットワークに移植されたわけである。ただし—線形に読み出せることが何を意味するのかという問いは、脳でも AI でも同じように未解決のまま残っている（第8節、第12章第10節）。

なぜ「ブレイン・デコーディング」と別の名で呼ばれるのか

ここで、この節と第2〜5節との違いを整理しておきたい。どちらも「デコーディング」だが、性格がかなり違う。

第2〜5節までは、チューニングを前提にしていた。population vector は細胞の好み方向を知っていることが前提だったし、最尤推定も最大事後確率推定も、p(\mathbf{r}\mid s) という応答モデルを先に立てていた。モデルを作り、それを逆に解く。これが古典的な神経デコーディングの筋道である。

本節のやり方は、そこを通らない。ボクセルのチューニングを調べもしないし、応答モデルも立てない。大量のパターンと正解ラベルを機械学習に渡し、線形の読み出しを見つけさせる—それだけである。そして人が目で見ても何も分からないパターンから、読み出せてしまう。

これが従来の脳機能マッピングからの断絶だった。それまでの fMRI 研究は「条件 A で活動が上がる領域はどこか」を地図にする作業であり、扱っていたのは人が解釈できる活動の増減である。そこで、発火頻度の統計モデルを立てて逆に解く古典的なデコーディングと区別するために、この系統はブレイン・デコーディング（brain decoding）と呼ばれるようになった。

ここがポイント

ブレイン・デコーディングが変えたのは、技術だけではない。「その領域に情報があるか」を問う基準を変えた。

従来—活動の増減が見えるか。ブレイン・デコーディング—読み出せるか。つまり「解釈できる差がない」ことと「情報がない」ことが、別々のものになった。

これは強力だが、代償もある。読み出せることが何を意味するのかが、以前より曖昧になったのだ。第8節の問い—読み出せることは、脳がその情報を使っていることを意味するのか—は、この移行が生んだ問いである。

正則化の必要性

MVPA の設定は、機械学習の観点からは厳しい。特徴の数（ボクセル数、数千〜数万）が、サンプル数（試行数、数百）よりはるかに多い。

この状況では、訓練データを完全に分離する超平面がいくらでも存在する。そのまま学習すると、確実に過学習する。

だから正則化が必須である。

\min_{\mathbf{w}}\; \sum_{i} L\big(y_i, \mathbf{w}^\top\mathbf{x}_i\big) + \lambda\, R(\mathbf{w})

R(\mathbf{w}) = \|\mathbf{w}\|^2 なら Ridge、\|\mathbf{w}\|_1 なら Lasso である。前者は重みを全体的に小さくし、後者は多くの重みをゼロにする（スパースになる）。

\lambda の選び方は交差検証で決める。訓練データをさらに分割し、検証データでの性能が最良になる \lambda を選ぶ。

この過学習と正則化の話は、第9章で本格的に扱う。そこでは「パラメータが多いほど過学習する」という古典的な描像が、深層学習では成り立たないことを見る。

7. 必要な数学：主成分分析と特異値分解

MVPA でも表現幾何でも、高次元データを扱うには次元削減が要る。道具を整えておこう。

主成分分析

データ \{\mathbf{x}_1, \dots, \mathbf{x}_M\}（各 \mathbf{x}_m\in\mathbb{R}^N）が与えられたとする。平均を引いておく。

主成分分析（PCA）には、二つの等価な定式化がある。

定式化1：分散最大化。単位ベクトル \mathbf{u} に射影したときの分散を最大にする \mathbf{u} を探す。

\max_{\|\mathbf{u}\|=1}\; \frac{1}{M}\sum_m \big(\mathbf{u}^\top\mathbf{x}_m\big)^2 = \mathbf{u}^\top C \mathbf{u}, \qquad C = \frac{1}{M}\sum_m \mathbf{x}_m\mathbf{x}_m^\top

ラグランジュ未定乗数法で解くと、C\mathbf{u} = \lambda\mathbf{u}—共分散行列の固有ベクトルである。分散は固有値 \lambda に等しい。

定式化2：再構成誤差最小化。k 次元の部分空間に射影して戻したとき、誤差が最小になる部分空間を探す。

答えは同じである。上位 k 個の固有ベクトルが張る部分空間になる。

二つの見方があることは、覚えておく価値がある。「情報を最大限保つ」と「捨てる情報を最小にする」が同じ操作だ、というのは PCA に限らず現れる構図である。

特異値分解

データ行列 X \in \mathbb{R}^{M\times N}（行がサンプル）を直接分解する方法もある。

X = U \Sigma V^\top

U \in \mathbb{R}^{M\times M}、V\in\mathbb{R}^{N\times N} が直交行列、\Sigma が対角に特異値 \sigma_1 \ge \sigma_2 \ge \cdots \ge 0 を並べた行列である。

PCA との関係。C = X^\top X/M だから、V の列が主成分方向、\sigma_i^2/M が固有値になる。特異値分解は共分散行列を作らずに PCA を実行する方法でもある（数値的に安定である）。

低ランク近似。上位 k 個の特異値だけ残した X_k = U_k\Sigma_k V_k^\top は、ランク k の行列のうち X にもっとも近い（Eckart–Young の定理）。

本書での出番

SVD は本書のあちこちで使う。

  • 本章の MVPA での次元削減
  • 第9章第6節 — 深層線形ネットワークの解析。特異値ごとに学習が進む
  • 第11章第3節 — MDS（距離行列の固有値分解）
  • 第11章第4節 — ヤコビアン J の特異値が、方向ごとの感度を与える
  • 第11章第7節 — 共分散行列の固有値から表現次元を測る

「行列を対角化して、成分ごとに独立に扱う」という発想が、これだけ繰り返し現れる。

8. デコーディングは何を明らかにするのか

短い節だが、本書全体でいちばん厄介な問いを提起する。

「読み出せた」から何が言えるか

MVPA で V1 から方位が読み出せた。この結果から、何が結論できるだろうか。

言えること。V1 の活動パターンに、方位の情報が存在する。少なくとも、線形分類器が取り出せる形で。

言えないこと。これが二つある。

第一に、脳がその情報を使っているとは限らない。実験者が数千個のボクセルに最適な重みを付けて取り出した情報を、下流のニューロンが同じように取り出しているとは限らない。「読み出せる」と「読み出されている」は違う。

第二に、読み出せなかったからといって情報がないとは限らない。線形デコーダを使ったなら、非線形にしか読み出せない情報は「ない」と判定される。デコーダの能力が、結論を左右する。

何が測られているのか

整理すると、デコーディング精度という数には、少なくとも三つの要素が混じっている。

  1. 神経集団が実際に持っている情報
  2. 測定装置（電極・ボクセル）がそれをどう写したか
  3. デコーダがその写像から何を取り出せるか

この三つを分離する手続きは、自明ではない。

とくに 2 は軽視されがちである。fMRI のボクセルは何万個ものニューロンの平均であり、電極記録は集団のごく一部の抜き取りである。測定装置そのものが、構造を歪めているかもしれない。

保留

この問いに、本章では答えを出さない。必要な道具がまだ揃っていないからである。

必要なのは、「何を実数に写してよいのか」「どんな変換のもとで結論が変わらないのか」を問う枠組み—測定の理論である。それを第12章で導入する。

そして第12章第10節で、この節の問いに正面から答える。そこでは次のことが示される。

  • デコーディング精度は、可逆線形変換のもとで不変な量である
  • したがって「どのユニットが情報を担うか」という主張は、そのままでは意味を持たない
  • 意味を持つのは、部分空間どうしの関係である

さらに第12章第9節では、上の要素 2—測定装置による歪み—が定量的に扱われる。fMRI ボクセルが表現の構造をどう変形し、それをどう補正できるかが分かる。

いまは「デコードできた」という結果を、少し慎重に読む習慣だけ持ってほしい。

次章へ

これで符号化・復号化・情報という道具立てが揃った。

次章から学習の数理に入る。そして第7章は本書のナラティブの起点である—ホップフィールドのエネルギー関数から始めて、ボルツマンマシン、ヘルムホルツマシン、変分推論を経て、第16章の自由エネルギー原理まで一本の道が続く。

第3章第6節で「アトラクターに落ちる」と比喩的に述べたことに、エネルギー関数という正確な数学が与えられるのが、その第一歩になる。

ノートコラム：脳活動はどう測るのか

本章のデコーディングも、第11章の表現幾何も、何らかの測定装置を通したデータに基づいている。装置ごとに、見えるものと見えないものが違う（図 1）。

図 1: 脳活動の計測手法を、空間分解能と時間分解能の平面に配置した図（模式。位置はおおよその目安である）。左上に届く手法ほど細かく速いが、そこに届くのは脳に電極を刺す侵襲的な手法であり、覆える範囲も狭い。塗りの濃さが侵襲性を表す。すべてを同時に満たす手法は存在しない—だから「どの装置で測ったか」が、見えるものを決めてしまう。

単一細胞記録・多電極アレイ。細い電極を脳に刺し、近傍の細胞の活動電位を記録する。時間分解能はミリ秒、空間分解能は単一細胞。近年のアレイ（Neuropixels など）では数百〜数千チャネルを同時記録できる。侵襲的なので、動物実験か、臨床上の必要がある患者に限られる。限界は、記録できるのが集団のごく一部であること、そして電極に近い細胞や発火頻度の高い細胞に偏る可能性があること。

カルシウムイメージング。カルシウム感受性の蛍光タンパク質を発現させ、顕微鏡で観察する。数千個の細胞を同時に、位置情報つきで記録できる。ただし時間分解能は電気記録より一桁以上遅く（カルシウム動態の時定数に律速される）、個々のスパイクを分離するのは難しい。

fMRI。神経活動に伴う血流変化（BOLD 信号）を測る。非侵襲でヒトの脳全体を覆えるのが最大の利点。空間分解能は典型的に 2\times2\times2 mm—一つのボクセルに数十万個のニューロンが含まれる。時間分解能は秒のオーダー（血流応答が数秒かけて起きるため）。第6節で述べたとおり、この粗さにもかかわらず方位がデコードできたことが MVPA の出発点になった。

EEG / MEG。頭皮上で電位（EEG）または磁場（MEG）を測る。時間分解能はミリ秒と優れるが、空間分解能は低い（信号源の推定が逆問題になる）。非侵襲で簡便なため、応用が広い。

ECoG。開頭手術中に皮質表面に電極シートを置く。時間・空間分解能とも良好だが、臨床上の必要がある患者に限られる。

トレードオフの構図。以上を並べると、空間分解能・時間分解能・カバー範囲・侵襲性の間にトレードオフがあることが分かる。すべてを同時に満たす手法は存在しない。

分かっていないこと。BOLD 信号が何を反映しているかは、実は完全には分かっていない。神経活動と血流を結ぶ機構（neurovascular coupling）は複雑で、スパイク発火よりもシナプス入力や局所場電位をよく反映するという証拠がある。つまり fMRI が測っているのは「その領域の出力」ではなく「その領域への入力と局所処理」に近い可能性がある。

さらに—異なる手法で測った結果が食い違ったとき、どちらを信じるべきかの原理はない。第11章で fMRI 由来の RDM とサル単一細胞由来の RDM を比べる話が出てくるが、両者が「同じもの」を測っているという保証は、本来どこにもない。この問題に理論的な整理が与えられたのはごく最近であり（第12章第9節）、そこでもノイズとの相互作用など未解決の部分が残っている。

出典　Logothetis et al. (2001)、Logothetis (2008)、カンデル神経科学 第2版。

確認問題

  1. ［確認］デコーディングにおける「脳の読み出し機構のモデル」と「実験者の解析道具」という二つの立場の違いを述べよ。（第1節）

  2. ［導出］population vector が方向を正しく推定することを、好み方向が一様分布する場合について計算で示せ。（第2節）

  3. ［導出］独立ポアソンノイズのもとで、最尤デコーダが \arg\max_s \sum_i n_i\log f_i(s) になることを導出せよ。（第4節）

  4. ［導出］\mathcal{I}(s) = \sum_i f_i'(s)^2/f_i(s) を導出せよ。導出のどこで f_i'' の項が打ち消し合うか。（第5節）

  5. ［考える］チューニング幅とフィッシャー情報量の関係が、刺激空間の次元によって変わることを述べよ。（第5節）

  6. ［確認］ノイズ相関がある場合のフィッシャー情報行列 \mathcal{I} = J^\top\Sigma^{-1}J について、この式が本書のどこで再登場するかを述べよ。（第5節・第11章第5節）

  7. ［導出］PCA の二つの定式化（分散最大化・再構成誤差最小化）を述べ、同じ答えを与えることを説明せよ。（第7節）

  8. ［考える］「V1 から方位がデコードできた」という結果から言えること・言えないことを、それぞれ述べよ。（第8節・第12章第10節）

参考文献

  • Kamitani, Y. & Tong, F. (2005) Decoding the visual and subjective contents of the human brain. Nat Neurosci — 本章第6節の原典
  • Georgopoulos, A. P. et al. (1986) Neuronal population coding of movement direction. Science — population vector［2節］
  • Haxby, J. V. et al. (2014) Decoding neural representational spaces using multivariate pattern analysis. Annu Rev Neurosci — MVPA の総説
  • Logothetis, N. K. (2008) What we can do and what we cannot do with fMRI. Nature — 計測の限界［コラム C5］
  • Logothetis, N. K. et al. (2001) Neurophysiological investigation of the basis of the fMRI signal. Nature — BOLD が何を反映するか［コラム C5］