11 表現の幾何 ── 集団活動の形を測る

第6章までで、我々は神経応答を「刺激の関数」として扱ってきた。ある細胞は45度の傾きによく応じ、別の細胞は90度によく応じる。細胞を一つずつ調べ、そのチューニング曲線を描く—これが神経科学が百年近くやってきたことだ。

だが、いま我々が手にしているデータは違う。多電極アレイは数百個の細胞を同時に記録する。fMRI は数万個のボクセルを同時に測る。深層ネットワークの中間層には数千個のユニットがある。細胞を一つずつ調べるという発想では、このデータに追いつけない。

ではどう見るか。N 個のユニットの同時活動を、N 次元空間の一つの点と見る。刺激を変えれば点は動く。刺激の集合に対して点の集合ができる。その点の集合が空間の中でどんな形をしているか—それを測るのが本章のテーマである。

この見方に切り替えると、いくつもの問いが幾何の言葉で書けるようになる。二つの刺激は「近い」のか。刺激の集合は何次元に広がっているのか。カテゴリは分離しているのか。そして—脳とAIの表現は「同じ形」なのか。

本章のガイド

第1〜3節が道具立て、第4〜5節が本章の数学的な核、第6〜8節が応用である。

第4節のヤコビアンで一度立ち止まってほしい。ここに出てくる J は、第2〜3章（安定性解析）・第5章（確率密度の変換）・第9章（NTK）で会ったのと同じ J である。四つ目の役目になる。そして第5節では、第6章で計算したフィッシャー情報量が、この幾何の言葉にそのまま翻訳されることを見る。

急ぐなら第2節（RSA の定義）と第4節（引き戻し計量）だけでも本章の骨は掴める。ただし第8節で「では脳とAIは似ているのか」という問いに答えようとすると足元が崩れる。その崩れ方は次章で扱う。

1. 単一細胞のチューニングから集団の幾何へ

同じデータを二通りに読める。この節ではその二通りを、行列の行と列として整理する。

M 個の刺激（条件）を用意し、N 個のユニットの応答を測ったとしよう。得られるのは M \times N の行列 R である。r_{mi} は「刺激 m を見せたときのユニット i の応答」だ。

R = \begin{pmatrix} r_{11} & r_{12} & \cdots & r_{1N} \\ r_{21} & r_{22} & \cdots & r_{2N} \\ \vdots & & & \vdots \\ r_{M1} & r_{M2} & \cdots & r_{MN} \end{pmatrix}

たったこれだけの行列だが、どちらの方向に読むかで、まったく違う科学になる。

列を読む（従来の見方）。第 i 列を取り出すと (r_{1i}, r_{2i}, \dots, r_{Mi}) という M 次元のベクトルが得られる。これは「ユニット i が各刺激にどう応じたか」であり、まさにチューニング曲線である。刺激が方位なら、この列を並べれば方位チューニング曲線が描ける。Hubel と Wiesel 以来、神経生理学が測ってきたのはこれだ。

行を読む（本章の見方）。第 m 行を取り出すと (r_{m1}, r_{m2}, \dots, r_{mN}) という N 次元のベクトルが得られる。これは「刺激 m が集団全体にどんな活動パターンを引き起こしたか」である。N 次元空間の一点だと思ってよい。刺激を M 個用意したのだから点は M 個ある。その M 個の点の配置が「表現幾何」である。

用語の約束

本書では、N 次元空間の点として見た応答を応答パターンまたは表現ベクトルと呼び、その空間を表現空間と呼ぶ。ユニットの数 N が表現空間の次元である（ただし後で見るように、点が実際に広がっている次元は N よりずっと小さいことが多い）。

さて、ここで問いたい。この二つの見方は、どちらが正しいのだろうか。

答えは「どちらも同じデータの別の切り口にすぎない」—ではあるが、それだけでは面白くない。もう少し踏み込むと、両者は次の意味で双対である。

チューニング曲線の見方は、ユニットに意味を与える。「この細胞は45度の細胞だ」という言い方をする。つまり座標軸（ユニット）の一つ一つが解釈の単位になる。

表現幾何の見方は、ユニットに意味を与えない。関心があるのは点と点の相対的な配置だけであり、座標軸を回転させても配置は変わらない。「45度の細胞」がどれかは問わない。

この違いは深い。もし脳が情報を「一個の細胞が一個の意味を担う」形で持っているなら、チューニングの見方が本質的だ。もし「集団の配置パターンが意味を担う」形で持っているなら、表現幾何の見方が本質的になる。そして—この問いは、いまだ決着していない。

第17章と第18章では、この「座標軸に意味があるのか、配置だけに意味があるのか」という問いが、プラトン表現仮説や線形表現仮説という現代的な形で再燃するところまで見る。本章はその足場を作る作業である。

ここがポイント

M \times N の応答行列を、列で読めばチューニング、行で読めば表現幾何。前者は座標軸（ユニット）に意味を与え、後者は点の配置だけを見る。どちらを本質と見るかは、まだ決着していない問いである。

2. 表現類似性解析（RSA）

点の配置を測りたい。いちばん素朴な方法は、すべての点のペアについて距離を測ることである。M 個の点があれば M(M-1)/2 個の距離が決まり、それを M \times M の行列に並べる。これが表現非類似度行列（representational dissimilarity matrix, RDM）であり、この行列を使って表現を比較する手法を表現類似性分析（representational similarity analysis, RSA）と呼ぶ。Kriegeskorte らが2008年に定式化した。

定義は単純である。刺激 m と刺激 m' の応答パターンを \mathbf{r}_m, \mathbf{r}_{m'} \in \mathbb{R}^N と書くと、

D_{mm'} = d(\mathbf{r}_m, \mathbf{r}_{m'})

ここで d は何らかの距離である。D は対称で、対角成分は 0 になる。

応答行列から RDM を作り、点の配置に戻すまでの流れを図 1 に示す。

図 1: 応答行列から表現非類似度行列（RDM）を作り、多次元尺度構成法で点の配置に戻す流れ（模式）。RDM の大きさは刺激数 M だけで決まり、ユニット数 N によらない。だからユニット数の違う対象—サルの細胞記録・ヒトの fMRI・深層ネットワークの中間層—を同じ土俵で比べられる。

なぜこれが嬉しいのか

RDM の御利益を一つだけ挙げるなら、これである—ユニット数が違っても比べられる。

サルの IT 野から100個の細胞を記録した。ヒトの側頭葉から5000個のボクセルを測った。深層ネットワークの第5層には4096個のユニットがある。この三つを直接比べることはできない。応答ベクトルの次元が違うのだから、同じ空間に置けない。

だが同じ100枚の画像を見せたなら、それぞれから 100 \times 100 の RDM が作れる。RDM の大きさは刺激の数だけで決まり、ユニットの数には依存しない。だから比べられる。

これが RSA の設計上の要点である。三つの RDM の相関を取れば、「サルの IT 野とヒトの側頭葉とネットワークの第5層は、似た表現幾何を持つか」という問いに数値で答えられる。異なる種、異なる測定法、異なる人工システムを横断できる—だから Kriegeskorte はこの論文に「システム神経科学の枝をつなぐ」という副題を付けた。

RDM を見て最初に目に入るもの

ここで、実際の RDM を見たときに何が見えるかを言っておきたい。方法の話より先に、結果の話をひとつ渡しておく。

サルとヒトの下側頭皮質で同じ物体画像の RDM を作ると、行列がまず大きく二つのブロックに割れる。生きているものと、そうでないものである（Kriegeskorte ら 2008b）。顔・体・動物が一つの塊になり、道具・家具・建物がもう一つの塊になる。この割れ目は、種を越え、測定法を越えて現れる。

この軸をアニマシー（animacy）と呼ぶ。高次視覚野の表現幾何を語るとき、いちばん頑丈に出てくる構造である。腹側視覚路の組織原理として長く議論されてきた。

アニマシーとは何かを、少し丁寧に言っておきたい。語源はラテン語の anima（息・魂）である。アニメーション（animation）も同じ語から来ている—命のないものに命を与える、という意味だ。だからアニマシーは「生物学的に生きているか」ではなく、生きていて魂があるように感じられるかを指す。生き物や動物が典型だが、動きだけでそう感じられることもある。逆に、植物のように生きているのに低く感じられるものもある。知覚と概念の側の区分なのである。

日本語を使っている読者には、身近な例がある。存在を言うときの「ある」と「いる」の使い分けである。

「猫がいる」と言い、「石がある」と言う。逆にはしない。日本語の文法は、アニマシーのある／なしを動詞の選択に埋め込んでいる。 我々はそれを意識せずに、しかしほとんど間違えずに使い分けている。境目にあるものを考えると、区分が概念的であることがよく分かる—ロボットや、人が乗っている乗り物は、話し手の見立てによって揺れる。

文法に埋め込まれるほど基本的な区分が、高次視覚野の表現幾何にも最初の割れ目として現れる。 これは面白い符合である。

ただし慎重に言っておく。日本語の文法と脳の表現が同じものだと主張しているのではない。言語がこの区分を文法に持っているという事実は、この区分が人にとって基本的であることの一つの傍証にすぎない。だが傍証が二つの独立な場所から出てくるなら、それだけ注目に値する。

覚えておいてほしい。 アニマシーは本書に二度戻ってくる。ここでは「RDM の相関」という測り方で見えた軸である。第17章第10節では、まったく別の測り方—「二つの系が同じ変換を保つか」—でも同じ軸が最も強く出ることを見る。 測り方を変えても残るものは、それだけ疑いにくい。

どの距離を使うのか

さて、d を決めなければならない。実務では次の三つがよく使われる。

ユークリッド距離。素朴な選択である。

d_{\text{Euc}}(\mathbf{r}, \mathbf{r}')^2 = \|\mathbf{r} - \mathbf{r}'\|^2 = \sum_{i=1}^{N} (r_i - r'_i)^2

マハラノビス距離。ノイズの共分散 \Sigma で重みを付ける。ノイズが大きい方向の差は割り引く、という考えだ。

d_{\text{Mah}}(\mathbf{r}, \mathbf{r}')^2 = (\mathbf{r} - \mathbf{r}')^\top \Sigma^{-1} (\mathbf{r} - \mathbf{r}')

\Sigma = I とすればユークリッド距離に戻る。この式の形を覚えておいてほしい。第5節でフィッシャー情報行列が出てくるとき、まったく同じ構造が現れる。

相関距離。二つのパターンの相関係数を 1 から引く。

d_{\text{corr}}(\mathbf{r}, \mathbf{r}') = 1 - \mathrm{corr}(\mathbf{r}, \mathbf{r}')

そして実務でもっとも広く使われているのは、この相関距離である。なぜだろうか。

素朴に考えれば奇妙な話だ。相関を取るというのは、各パターンから平均を引いて、さらに大きさで割る操作である。つまり「全ユニットが一斉に活動を上げた」という成分と、「パターン全体の大きさ」という成分を、捨てている。情報を捨てる距離が、なぜいちばんうまくいくのか。

手を動かす

ここで少し予想を立ててみてほしい。相関距離が捨てている二つの成分—全ユニット共通の平均と、パターンの大きさ—のうち、fMRI のボクセルを扱うときに捨てたほうが得なのはどちらだろうか。そしてそれはなぜだろうか。

ヒントは「ボクセルは何万個のニューロンの平均である」という事実にある（本章末のコラム参照）。答えは第12章第9節にある。そこでこの経験則には、きちんとした理論的な理由があることを見る。

いまは「相関距離が広く使われている」という事実だけ受け取って先に進もう。距離の選択が何を仮定しているかという問題は、本章の手に負えない。それは測定の問題であり、次章で正面から扱う。

3. 必要な数学：距離と計量

RDM を扱うために、距離について最小限のことを整えておく。

距離の公理

集合 X 上の関数 d: X \times X \to \mathbb{R} が距離（metric）であるとは、次の四つを満たすことである。

非負性: d(x,y) \ge 0
同一性: d(x,y) = 0 \iff x = y
対称性: d(x,y) = d(y,x)
三角不等式: d(x,z) \le d(x,y) + d(y,z)

上に挙げた三つのうち、ユークリッド距離とマハラノビス距離はこの四つを満たす。相関距離は満たさない。三角不等式だけでなく、同一性も破れる—\mathbf{r}' = a\mathbf{r} + b\mathbf{1}（a>0）に対して距離がゼロになるからだ。この「平均とスケールを潰す」性質が、第12章第9節で決定的に効いてくる。だから厳密には「距離」ではなく「非類似度」である—RDM が dissimilarity matrix と呼ばれるのはそのためだ。

後ろの二つ、対称性と三角不等式に印を付けておいてほしい。「人間の類似性判断はこの二つを満たさない」というのが Tversky (1977) の有名な批判であり、そうすると「知覚的類似性を距離で表す」という枠組み自体が疑わしくなる。第12章第8節で扱う。

グラム行列と距離行列は同じ情報を持つ

RDM は距離を並べた行列だが、もう一つ自然な行列がある。内積を並べたグラム行列である。

G_{mm'} = \mathbf{r}_m^\top \mathbf{r}_{m'}

この二つは互換である。実際、距離の二乗を展開すると

\begin{aligned} d_{mm'}^2 &= \|\mathbf{r}_m - \mathbf{r}_{m'}\|^2 \\ &= \mathbf{r}_m^\top \mathbf{r}_m - 2\,\mathbf{r}_m^\top \mathbf{r}_{m'} + \mathbf{r}_{m'}^\top \mathbf{r}_{m'} &&\textsf{(展開しただけ)}\\ &= G_{mm} - 2G_{mm'} + G_{m'm'} &&\textsf{(グラム行列の成分で書き直した)} \end{aligned}

となるので、G から D は作れる。逆向きも可能で、二重中心化という操作で D から G が復元できる。

G = -\tfrac{1}{2}\, C\, D^{(2)}\, C, \qquad C = I - \tfrac{1}{M}\mathbf{1}\mathbf{1}^\top

ここで D^{(2)} は距離の二乗を並べた行列、\mathbf{1} は成分が全部 1 のベクトルである。C を左右から掛けるというのが「行方向と列方向の両方から平均を引く」という操作にあたる。

なぜこれが嬉しいか。グラム行列は対称な半正定値行列だから、固有値分解ができる。G = U\Lambda U^\top と分解して、大きい固有値に対応する固有ベクトルを取れば、点の配置を低次元で近似的に再現できる。これが古典的多次元尺度構成法（classical MDS）である。

つまり—MDS とは「距離行列を二重中心化して固有値分解すること」にすぎない。第6章で学んだ主成分分析と、数学的には同じ操作である。

ここがポイント

距離行列 D とグラム行列 G は二重中心化で行き来できる。だから RDM を固有値分解すれば点の配置が復元できる（古典的 MDS）。RSA と PCA は遠い親戚ではなく、同じ線形代数の上に乗っている。

ただし—ここには落とし穴がある。二重中心化して固有値分解ができるのは、D がユークリッド距離から来ている場合である。相関距離のような一般の非類似度に対しては負の固有値が出ることがあり、「点の配置」として素直に解釈できない。MDS が暗黙に置いているこの前提は、第12章第7節で公理のレベルまで掘る。

4. ヤコビアンと引き戻し計量

前節までは、有限個の刺激に対する有限個の点を扱ってきた。だが刺激が連続的に変わる場合—方位が0度から180度まで滑らかに変わる場合—を考えると、話がもっと豊かになる。

刺激を s \in \mathbb{R}^{d}（d 次元の連続パラメータ）とし、応答を

\mathbf{r} = f(s) \in \mathbb{R}^{N}

と書く。f は第4章で扱ったエンコーディングモデルそのものである。s を動かすと \mathbf{r} が N 次元空間の中で曲線や曲面を描く。その曲面の形を測りたい。

ヤコビアンとは何を並べた表か

s を少しだけ動かしたとき、応答はどう動くか。テイラー展開の一次までで書けば、

f(s + \delta) \approx f(s) + J\,\delta, \qquad J = \frac{\partial f}{\partial s} \in \mathbb{R}^{N \times d}

この J がヤコビアンである。(i,a) 成分は \partial f_i / \partial s_a、つまり「刺激の第 a 成分をわずかに動かしたとき、ユニット i の応答がどれだけ変わるか」だ。

読み方を決めておこう。J の第 a 列は、N 次元表現空間の中のベクトルである。それは「刺激を a 方向に単位量動かしたとき、応答パターンが動く向きと大きさ」を表す。d 本の列ベクトルが、応答曲面の接空間の基底を張る。

具体例で掴んでほしい。刺激が方位 \theta だけ（d=1）なら、J は一本の N 次元ベクトルである。「方位を1度傾けたとき、細胞集団の応答ベクトルはどちらへ、どれだけ動くか」—それがこのベクトルだ。方位チューニング曲線の傾きを全細胞について並べたもの、と言ってもよい。

この状況を描いたのが図 2 である。

図 2: 刺激空間から表現空間への写像とヤコビアン（模式）。刺激空間で同じ長さの二つの変位 \delta_1, \delta_2 が、応答空間では違う長さの像 J\delta_1, J\delta_2 に写る。この「表現の側から測り返した長さ」を刺激空間へ持ち帰ったものが、引き戻し計量 J^\top J である。

距離が計量を定める

さて、応答空間での距離を計算しよう。刺激が s から s+\delta に動いたとき、応答パターンはどれだけ離れるか。

\begin{aligned} \|f(s+\delta) - f(s)\|^2 &\approx \|J\delta\|^2 &&\textsf{(一次近似を代入)}\\ &= (J\delta)^\top (J\delta) &&\textsf{(ノルムの定義)}\\ &= \delta^\top J^\top J\, \delta &&\textsf{(転置を分配した)} \end{aligned}

たった三行だが、これが本章でいちばん大事な式である。左辺は応答空間での距離、右辺は刺激空間のベクトル \delta の二次形式になっている。両者を結んでいるのが

G(s) = J^\top J \in \mathbb{R}^{d \times d}

という d \times d の行列である。これを引き戻し計量（pull-back metric）と呼ぶ。「応答空間にあった距離の測り方を、f に沿って刺激空間へ引き戻したもの」という意味だ。

なぜこれが「計量」なのか。刺激空間には、もともと距離の測り方が入っていなかったことに注意してほしい。「45度と46度の差」と「0度と1度の差」は、物理的にはどちらも1度である。だが表現空間で測れば、二つの差の大きさは違っていてよい。G(s) はまさに「表現の側から見たとき、刺激空間のどの方向がどれだけ重みを持つか」を教える行列である。

G(s) から何が読めるか

G = J^\top J は対称かつ半正定値だから、固有値分解できる。そしてその固有値・固有ベクトルには、はっきりした意味がある。

固有ベクトル — 刺激空間の中で「応答がよく動く方向」と「あまり動かない方向」
固有値 — その方向での感度の二乗。J の特異値の二乗にあたる
階数（rank） — 応答が実際に動ける方向の数。局所的な表現次元である

階数について一言。J は N \times d 行列だが、その階数は \min(N,d) より小さいことがある。たとえば d = 10 次元の刺激パラメータを与えても、応答が3次元しか動かないなら階数は3である。残りの7次元分の刺激変化は、表現の上では区別されていない。情報が捨てられているわけだ。第4章で扱った複雑細胞の位相不変性は、まさにこの「階数が落ちる」現象の一例である。

ここがポイント

ヤコビアン J の列は表現空間における接ベクトル。J^\top J は刺激空間に誘導される計量であり、その固有値が方向ごとの感度、階数が局所的な表現次元を与える。第2節の RDM が「大域的な形」なら、J^\top J は「局所的な形」である。

四つ目の役目

ここで少し立ち止まってほしい。J という記号に、本書ではもう何度も会っている。

第3章第3節 — ウィルソン・コーワン方程式の固定点の安定性を、ヤコビ行列の固有値で判定した
第5章第2節 — 確率密度の変数変換で |\det J|^{-1} という因子が現れた
第9章第5節 — NTK が \Theta = J_\theta J_\theta^\top という形をしていた
そして本節 — 表現の局所的な計量が J^\top J である

これは偶然ではない。「写像が微小な変化をどう伝えるか」を知りたいとき、我々はいつもヤコビアンを見ている。力学系では時間発展の写像、確率では変数変換の写像、学習ではパラメータから出力への写像、表現では刺激から応答への写像—対象が違うだけで、道具は一つだ。

とくに第9章の NTK との関係は覚えておく価値がある。NTK はパラメータに関するヤコビアン J_\theta から作られ、本節の計量は入力に関するヤコビアン J_s から作られる。前者が学習のダイナミクスを支配し、後者が表現の幾何を支配する。同じ道具が、微分する変数を替えるだけで別の役目を果たす。

5. フィッシャー情報行列の再登場

さて、約束を果たそう。第6章第5節で計算したフィッシャー情報量が、前節の幾何とどうつながるかを見る。

第6章では、ノイズのある応答から刺激を推定する精度を考えた。応答が平均 f(s)、共分散 \Sigma のガウス分布に従うとすると、フィッシャー情報行列は

\mathcal{I}(s) = J^\top \Sigma^{-1} J

となる。そして Cramér–Rao 下界により、どんな不偏推定量 \hat{s} の共分散も

\mathrm{Cov}(\hat{s}) \succeq \mathcal{I}(s)^{-1}

を満たす（\succeq は「差が半正定値」の意味）。つまり \mathcal{I} が大きい方向は精度よく推定でき、小さい方向は推定できない。

この式を、前節の目で見直してほしい。

\underbrace{J^\top J}_{\textsf{引き戻し計量}} \qquad\text{vs}\qquad \underbrace{J^\top \Sigma^{-1} J}_{\textsf{フィッシャー情報行列}}

違いは \Sigma^{-1} が挟まっているかどうかだけである。ノイズが等方的（\Sigma = \sigma^2 I）なら、両者は定数倍で一致する。

\mathcal{I}(s) = \frac{1}{\sigma^2} J^\top J = \frac{1}{\sigma^2}\, G(s)

つまり—等方的なノイズのもとでは、「表現幾何の計量」と「デコーディング精度」は同じものである。

これは考えてみれば当然のことを言っている。二つの刺激が表現空間で遠く離れていれば、ノイズに埋もれずに区別できる。近ければ区別できない。「表現の形」と「読み出しの精度」が別々の話であるはずがない。だが式のレベルで同じだと分かるのは、それなりに気持ちのよいことだ。

そして第2節でマハラノビス距離を紹介したとき、「この式の形を覚えておいてほしい」と書いた理由も、いまなら分かるだろう。

d_{\text{Mah}}^2 = (\mathbf{r} - \mathbf{r}')^\top \Sigma^{-1} (\mathbf{r} - \mathbf{r}')

\mathbf{r} - \mathbf{r}' \approx J\delta を代入すれば \delta^\top J^\top\Sigma^{-1}J\,\delta = \delta^\top \mathcal{I}\,\delta である。RDM をマハラノビス距離で作ることは、フィッシャー情報量で距離を測ることと同じなのだ。RSA の実務でマハラノビス距離（あるいはその不偏推定版）が好まれるのには、こういう理由がある。

ここがポイント

J^\top J（表現幾何の計量）と J^\top\Sigma^{-1}J（フィッシャー情報行列）は、ノイズの重み付けを除いて同じ式である。幾何と精度は別の話ではない。第6章のデコーディングと本章の表現幾何は、同じ数学の二つの顔だった。

手を動かす

方位選択性の集団を作って、上の一致を数値で確かめよう。コードは コード/06_fisher.py を使いまわせる。

N=32 個の細胞が好み方位を [0,180) に等間隔に持ち、フォン・ミーゼス型のチューニングを持つとする。d=1 なので J は N 次元ベクトルで、引き戻し計量は J^\top J = \sum_i f_i'(\theta)^2 というスカラーになる。

# d = 1 なので J は N 次元ベクトル（f_i' を並べたもの）
def jacobian(theta, kappa):
    d = np.deg2rad(2*(theta - prefs))
    fi = A*np.exp(kappa*(np.cos(d) - 1))
    return fi*(-kappa*np.sin(d))*np.deg2rad(2)

J = jacobian(37.0, 2.0)
fi = f(np.array(37.0), 2.0)   # 各細胞の平均発火率
print(J @ J)                  # 引き戻し計量 J^T J
print((J**2/fi).sum())        # J^T Σ^-1 J（ポアソン）

最後の二行が本節の要点である。同じ J から出発しても、重みを何にするかで別の量になる。

結果は第6章第5節と同じで、\theta にまったく依存しない（J^\top J の最大と最小の比が、\kappa=2 では小数第6位まで 1）。等方的なノイズなら \mathcal{I} = J^\top J/\sigma^2 だから、第6章と同じ形の式を計算していることになる—あちらでは「推定精度の限界」、ここでは「表現空間での伸び縮み」と呼んでいるだけである。

\kappa（チューニングの鋭さ）を上げると J^\top J は増える（\kappa=2 で 2.79、\kappa=16 で 8.70）。表現空間での「刺激1度あたりの移動距離」が伸びている、と読める。

ただし第6章の数値とは一致しない。あちらの \mathcal{I}（\kappa=2 で 0.336）はポアソンノイズを仮定しており、\Sigma = \mathrm{diag}(f_i) の重みが掛かった J^\top \Sigma^{-1} J である。同じ J から出ているのに、どんなノイズを想定するかで値が変わる—次節でこの一般形に戻る。

そして問い—では鋭いほうがよいのか。移動距離が伸びるのは「近くの方位を区別する」向きだけである。遠く離れた方位はどうなるだろうか。第6節の多様体の言葉で考えてみてほしい。

6. 神経多様体と分離可能性

前節までは「一点のまわりの局所的な形」を見てきた。視野を広げよう。

多様体という言い方

刺激が連続的に変わると応答は曲面を描く、と第4節で述べた。この曲面のことを神経多様体（neural manifold）と呼ぶ。多様体という言葉に身構える必要はない。ここでは「高次元空間の中の、低次元の滑らかな部分集合」という程度の意味で使う。

なぜ低次元なのか。N 個のユニットがあれば表現空間は N 次元だが、実際に応答が到達する点は N 次元空間全体には広がらない。刺激パラメータが d 次元なら、応答は高々 d 次元の部分集合に乗る。N \gg d のとき、応答は広大な空間の中の薄い膜のような集合に集中する。これが「神経多様体」という言い方の実質である。

運動系での例が分かりやすい。サルの運動皮質から数百個の細胞を記録すると、その活動は数次元の部分空間の中でほとんど動く（Gallego らのレビュー）。数百次元の自由度があるのに、実際に使われているのは10次元に届かない。これは冗長性ではなく制約である—運動皮質は、少数の潜在変数で記述できる何かを表現している。

物体多様体と untangling

視覚系での主役は物体多様体（object manifold）である。

一つの物体—たとえば特定の顔—を考える。それを様々な位置・大きさ・向き・照明で提示すると、それぞれに応答パターンが生じる。同じ物体に対する応答パターンの集まりが、その物体の多様体である。物体を変えれば別の多様体ができる。

物体認識の課題を、この言葉で言い換えてみよう。「顔と椅子を区別する」とは、顔の多様体と椅子の多様体を分離することである。そして分離のもっとも単純な形は、両者の間に超平面を一枚通すこと—線形分離である。

網膜のレベルでは、これができない。同じ顔を左に寄せただけでピクセルパターンは全然違うものになるから、顔の多様体は空間の中でぐしゃぐしゃに折り畳まれて広がっており、椅子の多様体と絡み合っている。DiCarlo と Cox はこの状態を tangled（もつれている）と呼び、視覚の階層を上がる過程を untangling（もつれ解き）と呼んだ。IT 野では、多様体は線形分離できるところまで解けている。

この比喩の良さは、何が起きていないかをはっきりさせる点にある。untangling は「情報を増やす」ことではない。網膜にあった情報が IT 野で増えるはずがない。起きているのは同じ情報の配置の変更である。読み出しやすい形に並べ替えること—それが視覚の階層がやっている仕事だ、という主張になる。

容量という定量化

「線形分離できる」を定量化したい。Chung, Lee, Sompolinsky (2018) は多様体容量（manifold capacity）という量を導入した。

問いはこうである。N 次元空間に P 個の多様体を置き、それぞれにランダムな二値ラベルを振る。ラベルどおりに線形分離できる確率が高いのは、P がどれだけまでか。

点（多様体が一点に縮んだ場合）なら、答えは古典的に知られている。P \approx 2N が限界である。多様体の場合は、その広がりのぶん難しくなる。容量は次の三つで決まる。

半径 R — 多様体の広がりの大きさ。小さいほど分離しやすい
次元 D — 多様体が何次元に広がっているか。低いほど分離しやすい
相関 — 多様体の中心どうしの相関。低いほど分離しやすい

そして深層ネットワークの層を上がると、実際にこの三つが減っていく。つまり untangling という比喩は、測れる量に翻訳できたわけだ。半径が縮み、次元が落ち、相関が下がる—それが「もつれが解ける」の中身である。

ここで一つ、注意を促しておきたい。次元が落ちることは、いつでも良いことなのだろうか。分離しやすさだけを考えれば、多様体を一点に潰してしまうのがいちばんよい。だがそれは「同じ物体のすべての見え方を区別できなくなる」ことでもある。位置も大きさも向きも読み出せなくなる。次節でこのトレードオフを見る。

7. 表現の次元

「表現の次元」という言い方を、ここまで何度か使ってきた。定義を与えておこう。

参加率

応答パターンの共分散行列 C の固有値を \lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_N \ge 0 とする。第6章の主成分分析でやったとおりだ。

もし \lambda_1 だけが大きくて残りがゼロなら、点は一直線上に並んでいる（1次元）。すべての固有値が等しければ、点は等方的に広がっている（N 次元）。この中間を一つの数で表したい。参加率（participation ratio）はそのための量である。

D_{\text{PR}} = \frac{\left(\sum_i \lambda_i\right)^2}{\sum_i \lambda_i^2}

なぜこれで次元が測れるのか、確かめてみよう。k 個の固有値が等しく \lambda で、残りがゼロだとする。すると

D_{\text{PR}} = \frac{(k\lambda)^2}{k\lambda^2} = \frac{k^2\lambda^2}{k\lambda^2} = k

ちゃんと k が返ってくる。固有値の分布が偏っていれば D_{\text{PR}} は N より小さい値になる。「実質的に何次元使っているか」の目安になっているわけだ。

次元と汎化のトレードオフ

前節の最後で立てた問いに戻る。次元は低いほうがよいのか。

低いほうがよい理由は、前節で見た。分離しやすい。ノイズに強い。少ないサンプルから学習できる。

高いほうがよい理由もある。多くのことを区別できる。表現次元が k なら、区別できる刺激の方向は k 個までである。次元を落とせば、その分だけ何かを捨てている。

次元にはトレードオフがある。低すぎれば必要な区別ができず、高すぎれば多様体が絡み合って分離しにくくなる（第6節の多様体容量）。なおモデルのパラメータ数と表現の次元は別物である—前者を増やすと過学習するという古典的な描像が破綻したことは、第9章第2節で見たとおりである。どこに置くのが最適かは、何を読み出したいかによる。「良い表現」は課題を指定しないと決まらない—これは本書で繰り返し現れる主題である。

第9章第7節で扱った Neural Collapse は、この文脈でとくに示唆的な現象である。分類課題を最後まで学習させると、同じクラスの表現が一点に潰れていく（クラス内分散がゼロに向かう）。分類には最適な形だ。だがその課題以外に必要だった区別は、すべて失われている。そして訓練分布の外の入力がどこに写るかについては、何の保証もない。

8. 脳とDNNの表現幾何を比べる

道具が揃った。本章の締めくくりに、いちばん人を惹きつける問いへ進もう—脳と深層ネットワークの表現は似ているのか。

問いの立て方を、先に確かめておきたい。比べようとしている二つは、どういう関係にあるのだろうか。

同じ画像を見せたとき、脳は活動パターンを作り、ネットワークは特徴量を作る。どちらも、同じ刺激から生じた潜在特徴である。一方が他方を引き起こすわけではない。兄弟の関係だ—この見方が、第15章第10節で扱う枠組みの出発点になる。

だから本節の問いは、こう言い換えられる。兄弟どうしは、どれだけ似た構造を持っているのか。RDM を比べるとは、その構造の近さを測る一つの方法である。

RSA による比較

第2節で述べたとおり、RDM ならユニット数が違っても比べられる。だから手続きは素直である。

同じ刺激集合（たとえば画像100枚）を、脳とネットワークの両方に与える
それぞれから RDM を作る
二つの RDM の相関を取る

Khaligh-Razavi と Kriegeskorte (2014) はこれをやった。当時利用できた多数のモデルの RDM を、サル IT 野およびヒト側頭葉の RDM と比べたのである。結論は、教師あり学習で訓練された深層ネットワークがもっともよく一致した、というものだった。教師なしのモデルは及ばなかった。

Yamins と DiCarlo (2016) はこれを方法論として定式化した。目標駆動モデリング（goal-driven modeling）と呼ばれる考え方である。神経回路を細部まで真似るのではなく、同じ課題を解かせる。そうすれば表現が自然に似てくる—という戦略だ。Schrimpf らの Brain-Score は、この比較をベンチマークとして制度化したものである。

ここまでは景気のよい話である。性能を上げれば脳に似る、という素直な期待が持てる。

ところがそうならない

だが話はそう単純ではなかった。

第一に、性能と脳との一致は、あるところから先で相関しなくなる。ImageNet の精度を上げても、脳活動との一致は上がらない。むしろ2010年代初頭の比較的単純なネットワークのほうが、最新の巨大モデルより脳に近いことがある。

第二に、高性能なモデルは人間と違う戦略を使っている。Geirhos ら (2018) が示したのは、ImageNet で訓練された CNN が形よりテクスチャに頼っていることだった。猫の形をした象のテクスチャの画像を見せると、CNN は象だと答える。人間は猫だと答える。同じ課題で高い精度を出しながら、まったく違うものを見ているわけだ。

だから「性能が高いほど脳に似る」という期待は素直には成り立たない。では何を比べるべきなのか。表現の幾何を比べるべきだ—というのが本章の立場である。精度という一次元の指標ではなく、点の配置という豊かな構造を比べる。それなら「どう似ていて、どう違うか」が言える。

そして足元が崩れる

ここで一つ、留保を入れなければならない。

RDM の相関が高いことは、本当に「表現幾何が似ている」ことを意味するのだろうか。

ここで思い出してほしい。我々が比べているのは、脳から測った RDM とネットワークから計算した RDM である。前者は fMRI ボクセル（何万個のニューロンの非負の重み付き平均）や電極（集団のごく一部の抜き取り）を通して得られたものだ。後者は全ユニットの値をそのまま使ったものである。

測定の仕方がこれだけ違うのに、同じ「表現幾何」を測っていると言えるのか。

この問いは真剣に受け取る必要がある。第2節で保留した「なぜ相関距離がうまくいくのか」という疑問も、まだ答えていない。それどころか—第3節で見たように、RDM が点の配置として解釈できるための条件（ユークリッド性）さえ、相関距離では満たされていない。

つまり本章は、道具を並べたところで足元が崩れて終わる。RSA も表現次元も多様体容量も、「何を実数に写してよいのか」という問いに答えないまま数を計算していた。

その問いを扱うのが次章である。測定理論という、心理学が百年かけて作った道具を借りることになる。そして最後に、Bossio Botero と Kriegeskorte (2025) の結果として、第2節の宿題—相関距離がなぜうまくいくのか—にきちんと答えが出る。

コラム：表現幾何は何を対象に測られてきたか

本文で扱った RDM は、実際にはどんなデータから作られているのか。代表的な三つを挙げる。

サル IT 野の多細胞記録。側頭葉下部（inferior temporal cortex）に電極を刺し、数十〜数百個の細胞から同時に発火を記録する。表現幾何の議論で繰り返し引かれる Kiani らのデータセットは、数百個の IT 細胞に対して千枚規模の自然画像を提示したものである。利点は単一細胞の分解能があること。限界は、記録できるのが集団のごく一部（IT 野には数千万個の細胞がある）で、しかも電極が刺さりやすい細胞に偏っている可能性が排除できないこと。

ヒト側頭葉の fMRI。側頭葉腹側（LOC・FFA・PPA など）のボクセル活動パターンを測る。一つのボクセル（典型的には 2\times2\times2 mm 程度）には数十万個のニューロンが含まれ、測っているのは神経活動そのものではなく血流の変化（BOLD 信号）である。時間分解能は秒のオーダー。利点は脳全体を非侵襲で覆えること、ヒトを対象にできること。限界は、空間・時間の両方で大幅に平均化された信号しか得られないこと。

公開データセット。近年は Natural Scenes Dataset（NSD）のような大規模データが共有され、同じ刺激・同じ被験者で複数の研究が比較できるようになった。ただし刺激集合の偏り（どんなカテゴリが何枚含まれるか）が結果を左右することが知られており、データセットを跨いだ検証が求められる。

分かっていないこと。ここに挙げた三つは、それぞれ違う空間スケール・違う物理量を測っている。それらから計算した RDM が「同じもの」を測っているという保証は、本来どこにもない。実際に三つの RDM が似た値を返すことは経験的に知られているが、なぜそうなるのかが理論的に整理されたのはごく最近である（第12章第9節）。そしてその整理でも、ノイズとの相互作用や fMRI ボクセルの空間相関は、今後の課題として残されている。

出典　Kiani et al. (2007)、Kriegeskorte et al. (2008)、Allen et al. (2022)。

確認問題

［確認］RDM の大きさが刺激数 M だけで決まり、ユニット数 N に依存しないことを確認せよ。そのうえで、この性質が RSA の何を可能にしているかを述べよ。（第2節）
［確認］距離の四つの公理のうち、相関距離が満たさないものを挙げよ。（第2節・第3節）
［導出］グラム行列 G から距離の二乗 d^2_{mm'} を与える式を導出せよ（本文第3節の三行を自分で再現せよ）。（第3節）
［導出］ノイズが等方的（\Sigma = \sigma^2 I）のとき、フィッシャー情報行列 \mathcal{I}(s) と引き戻し計量 J^\top J の関係を示せ。（第5節・第6章第5節）
［導出］固有値が k 個だけ等しく残りがゼロのとき、参加率 D_{\text{PR}} が k になることを確かめよ。（第7節）
［考える］「表現の次元は低いほうがよい」という主張に対する反論を、本文の議論に基づいて述べよ。（第7節・第17章第4節）
［考える］「性能の高い DNN ほど脳に似る」という期待が素直には成り立たない理由を、二つ挙げよ。（第8節）
［考える］脳活動と DNN 特徴量は、同じ刺激から作られた「兄弟」だと本文で述べた。この見方を取ると、両者を比べる作業の何が変わるか。第15章第10節の枠組みを参照して答えよ。（第8節・第15章第10節）

参考文献

Kriegeskorte, N., Mur, M. & Bandettini, P. (2008) Representational similarity analysis. Front Syst Neurosci — RSA の原典［2節］。同じ年の Kriegeskorte, N. et al. (2008b) Matching categorical object representations in inferior temporal cortex of man and monkey. Neuron がアニマシーの分割を示した仕事［2節］
Kriegeskorte, N. & Wei, X.-X. (2021) Neural tuning and representational geometry. Nat Rev Neurosci — 本章全体の見取り図。まずこれを読むとよい
Chung, S. & Abbott, L. F. (2021) Neural population geometry. Curr Opin Neurobiol — 多様体の観点からの総説［6節］
DiCarlo, J. J. & Cox, D. D. (2007) Untangling invariant object recognition. Trends Cogn Sci — untangling［6節］
Khaligh-Razavi, S.-M. & Kriegeskorte, N. (2014) — 脳とモデルの RDM 比較［8節］