11  表現の幾何 ── 集団活動の形を測る

第6章までで、われわれは神経応答を「刺激の関数」として扱ってきた。ある細胞は45度の傾きによく応じ、別の細胞は90度によく応じる。細胞を一つずつ調べ、そのチューニング曲線を描く—これが神経科学が百年近くやってきたことだ。

だが、いまわれわれが手にしているデータは違う。多電極アレイは数百個の細胞を同時に記録する。fMRI は数万個のボクセルを同時に測る。深層ネットワークの中間層には数千個のユニットがある。細胞を一つずつ調べるという発想では、このデータに追いつけない。

ではどう見るか。N 個のユニットの同時活動を、N 次元空間の一つの点と見る。刺激を変えれば点は動く。刺激の集合に対して点の集合ができる。その点の集合が空間の中でどんな形をしているか—それを測るのが本章のテーマである。

この見方に切り替えると、いくつもの問いが幾何の言葉で書けるようになる。二つの刺激は「近い」のか。刺激の集合は何次元に広がっているのか。カテゴリは分離しているのか。そして—脳とAIの表現は「同じ形」なのか。

ヒント本章のガイド

第1〜3節が道具立て、第4〜5節が本章の数学的な核、第6〜8節が応用である。

第4節のヤコビアンで一度立ち止まってほしい。ここに出てくる J は、第2〜3章（安定性解析）・第5章（確率密度の変換）・第9章（NTK）で会ったのと同じ J である。四つ目の役目になる。そして第5節では、第6章で計算したフィッシャー情報量が、この幾何の言葉にそのまま翻訳されることを見る。

急ぐなら第2節（RSA の定義）と第4節（引き戻し計量）だけでも本章の骨は掴める。ただし第8節で「では脳とAIは似ているのか」という問いに答えようとすると足元が崩れる。その崩れ方は次章で扱う。

1. 単一細胞のチューニングから集団の幾何へ

同じデータを二通りに読める。この節ではその二通りを、行列の行と列として整理する。

M 個の刺激（条件）を用意し、N 個のユニットの応答を測ったとしよう。得られる応答行列は R \in \mathbb{R}^{M \times N} であり、行が刺激、列がユニットに対応する。刺激の番号を m = 1, \dots, M、ユニットの番号を n = 1, \dots, N と書く。各成分 r_{mn} は「刺激 m を見せたときのユニット n の応答」である。大文字の M, N は個数、小文字の m, n はその中の番号だ。

R = \begin{pmatrix} r_{11} & r_{12} & \cdots & r_{1N} \\ r_{21} & r_{22} & \cdots & r_{2N} \\ \vdots & & & \vdots \\ r_{M1} & r_{M2} & \cdots & r_{MN} \end{pmatrix}

たったこれだけの行列だが、どちらの方向に読むかで、まったく違う科学になる。

列を読む（従来の見方）

第 n 列を取り出すと、(r_{1n}, r_{2n}, \dots, r_{Mn})^\top \in \mathbb{R}^{M} という列ベクトルが得られる。\top は、横に書いた並びを縦の列にする転置の記号である。この列は「ユニット n が各刺激にどう応じたか」を並べたものであり、まさにチューニング曲線を測った値にあたる。刺激が方位なら、この列を並べれば方位チューニング曲線が描ける。Hubel と Wiesel 以来、神経生理学が測ってきたのはこれだ。

行を読む（本章の見方）

第 m 行を取り出すと (r_{m1}, r_{m2}, \dots, r_{mN}) という N 次元のベクトルが得られる。これは「刺激 m が集団全体にどんな活動パターンを引き起こしたか」である。N 次元空間の一点だと思ってよい。刺激を M 個用意したのだから点は M 個ある。その M 個の点の配置が「表現幾何」である。

ノート用語の約束

本書では、N 次元空間の点として見た応答を応答パターンまたは表現ベクトルと呼び、その空間を表現空間と呼ぶ。ユニットの数 N が表現空間の次元である（ただし後で見るように、点が実際に広がっている次元は N よりずっと小さいことが多い）。

さて、ここで問いたい。この二つの見方は、どちらが正しいのだろうか。

答えは「どちらも同じデータの別の切り口にすぎない」—ではあるが、それだけでは面白くない。もう少し踏み込むと、両者は次の意味で双対である。

チューニング曲線の見方は、ユニットに意味を与える。「この細胞は45度の細胞だ」という言い方をする。つまり座標軸（ユニット）の一つ一つが解釈の単位になる。

表現幾何の見方は、ユニットに意味を与えない。関心があるのは点と点の相対的な配置だけであり、座標軸を回転させても配置は変わらない。「45度の細胞」がどれかは問わない。

この違いは、脳が何を情報の担い手と見るかという問いにつながる。たとえば「45度」という意味を、特定の細胞の活動に見いだすのか、それとも集団の応答パターンが他のパターンとどこに位置しているかに見いだすのか、という違いである。もし一個の細胞が一個の意味を担うなら、チューニングの見方が本質的だ。もし集団の応答パターンどうしの配置が意味を担うなら、表現幾何の見方が本質的になる。どちらを本質と見るべきだろうか。そして—この問いは、いまだ決着していない。

第17章と第18章では、この「座標軸に意味があるのか、配置だけに意味があるのか」という問いが、「プラトン」表現仮説や線形表現仮説という現代的な形で再燃するところまで見る。本章はその足場を作る作業である。

ここがポイント

M \times N の応答行列を、列で読めばチューニング、行で読めば表現幾何。前者は座標軸（ユニット）に意味を与え、後者は点の配置だけを見る。どちらを本質と見るかは、まだ決着していない問いである。

2. 表現類似性解析（RSA）

点の配置を測りたい。いちばん素朴な方法は、すべての点のペアについて距離を測ることである。M 個の点があれば M(M-1)/2 個の距離が決まり、それを M \times M の行列に並べる。これが表現非類似度行列（representational dissimilarity matrix, RDM）であり、この行列を使って表現を比較する手法を表現類似性解析（representational similarity analysis, RSA）と呼ぶ。Kriegeskorte らが2008年に定式化した。定義は単純である。刺激 m と刺激 m' の応答パターンを \mathbf{r}_m, \mathbf{r}_{m'} \in \mathbb{R}^N と書くと、

D_{mm'} = d(\mathbf{r}_m, \mathbf{r}_{m'})

ここで d は何らかの距離（あるいは、あとで見るように距離とは限らない非類似度）である。D は対称で、対角成分は 0 になる。

応答行列から RDM を作り、点の配置に戻すまでの流れを 図 1 に示す。

図 1: 応答行列から表現非類似度行列（RDM）を作り、多次元尺度構成法で点の配置に戻す流れ（模式）。RDM の大きさは刺激数 M だけで決まり、ユニット数 N によらない。だからユニット数の違う対象—サルの細胞記録・ヒトの fMRI・深層ネットワークの中間層—を同じ土俵で比べられる。

なぜこれが嬉しいのか

RDM の御利益を一つだけ挙げるなら、これである—ユニット数が違っても比べられる。サルの IT 野から100個の細胞を記録した。ヒトの側頭葉から5000個のボクセルを測った。深層ネットワークの第5層には4096個のユニットがある。この三つを直接比べることはできない。応答ベクトルの次元が違うのだから、同じ空間に置けない。だが同じ100枚の画像を見せたなら、それぞれから 100 \times 100 の RDM が作れる。RDM の大きさは刺激の数だけで決まり、ユニットの数には依存しない。だから比べられる。これが RSA の設計上の要点である。相関を取るときは、各 RDM の対角より上の成分だけを同じ刺激対の順に並べ、二つずつ比べる。三つの RDM の相関を取れば、「サルの IT 野とヒトの側頭葉とネットワークの第5層は、似た表現幾何を持つか」という問いに数値で答えられる。異なる種、異なる測定法、異なる人工システムを横断できる—だから Kriegeskorte はこの論文に「システム神経科学の枝をつなぐ」という副題を付けた。

RDM を見て最初に目に入るもの

ここで、実際の RDM を見たときに何が見えるかを言っておきたい。方法の話より先に、結果の話をひとつ渡しておく。

サルとヒトの下側頭皮質で同じ物体画像の RDM を作ると、行列がまず大きく二つのブロックに割れる。生きているものと、そうでないものである（Kriegeskorte ら 2008b）。顔・体・動物が一つの塊になり、道具・家具・建物がもう一つの塊になる。この割れ目は、種を越え、測定法を越えて現れる。この軸をアニマシー（animacy）と呼ぶ。高次視覚野の表現幾何を語るとき、いちばん頑丈に出てくる構造である。腹側視覚路の組織原理として長く議論されてきた。

アニマシーとは何かを、少し丁寧に言っておきたい。語源はラテン語の anima（息・魂）である。アニメーション（animation）も同じ語から来ている—命のないものに命を与える、という意味だ。だからアニマシーは「生物学的に生きているか」ではなく、生きていて魂があるように感じられるかを指す。生き物や動物が典型だが、動きだけでそう感じられることもある。逆に、植物のように生きているのに低く感じられるものもある。知覚と概念の側の区分なのである。

日本語を使っている読者には、身近な例がある。存在を言うときの「ある」と「いる」の使い分けである。

「猫がいる」と言い、「石がある」と言う。逆にはしない。日本語の文法は、アニマシーのある／なしを動詞の選択に埋め込んでいる。 われわれはそれを意識せずに、しかしほとんど間違えずに使い分けている。境目にあるものを考えると、区分が概念的であることがよく分かる—ロボットや、人が乗っている乗り物は、話し手の見立てによって揺れる。

文法に埋め込まれるほど基本的な区分が、高次視覚野の表現幾何にも最初の割れ目として現れる。 これは面白い符合である。

ただし慎重に言っておく。日本語の文法と脳の表現が同じものだと主張しているのではない。言語がこの区分を文法に持っているという事実は、この区分が人にとって基本的であることの一つの傍証にすぎない。だが傍証が二つの独立な場所から出てくるなら、それだけ注目に値する。

覚えておいてほしい。 アニマシーは本書に二度戻ってくる。ここでは「RDM の相関」という測り方で見えた軸である。第17章第10節では、まったく別の測り方—「二つの系が同じ変換を保つか」—でも同じ軸が最も強く出ることを見る。 測り方を変えても残るものは、それだけ疑いにくい。

どの距離を使うのか

さて、d を決めなければならない。実務では次の三つがよく使われる。ユークリッド距離は、素朴な選択である。

d_{\text{Euc}}(\mathbf{r}, \mathbf{r}')^2 = \|\mathbf{r} - \mathbf{r}'\|^2 = \sum_{i=1}^{N} (r_i - r'_i)^2

マハラノビス距離は、ノイズの共分散 \Sigma で重みを付ける。ノイズが大きい方向の差は割り引く、という考えだ。

d_{\text{Mah}}(\mathbf{r}, \mathbf{r}')^2 = (\mathbf{r} - \mathbf{r}')^\top \Sigma^{-1} (\mathbf{r} - \mathbf{r}')

\Sigma = I とすればユークリッド距離に戻る。この式の形を覚えておいてほしい。第5節でフィッシャー情報行列が出てくるとき、まったく同じ構造が現れる。数で見よう。2ユニットの応答差がどちらも 2、ノイズは無相関で分散が順に 1 と 4 だとする。ユークリッド距離の二乗は 2^2 + 2^2 = 8、マハラノビス距離の二乗は 2^2/1 + 2^2/4 = 5 である。後者では、ノイズの大きい第2ユニットの差が小さく数えられている。

相関距離は、二つのパターンの相関係数を 1 から引く。

d_{\text{corr}}(\mathbf{r}, \mathbf{r}') = 1 - \mathrm{corr}(\mathbf{r}, \mathbf{r}')

そして実務でもっとも広く使われているのは、この相関距離である。なぜだろうか。

素朴に考えれば奇妙な話だ。相関を取るというのは、各パターンから平均を引いて、さらに大きさで割る操作である。つまり「全ユニットが一斉に活動を上げた」という成分と、「パターン全体の大きさ」という成分を、捨てている。情報を捨てる距離が、なぜこれほど使われるのか。

ヒント手を動かす

ここで少し予想を立ててみてほしい。相関距離が捨てている二つの成分—全ユニット共通の平均と、パターンの大きさ—のうち、fMRI のボクセルを扱うときに捨てたほうが得なのはどちらだろうか。そしてそれはなぜだろうか。

ヒントは、ボクセルの応答を多数のニューロンの活動の平均として近似する模型にある（本章末のコラム参照）。答えは第12章第9節にある。そこで、平均を引く操作が測定由来の歪みを除く条件を見る。

いまは「相関距離が広く使われている」という事実だけ受け取って先に進もう。距離の選択が何を仮定しているかという問題は、本章の手に負えない。それは測定の問題であり、次章で正面から扱う。

3. 必要な数学：距離と計量

RDM を扱うために、距離について最小限のことを整えておく。

距離の公理

集合 X 上の関数 d: X \times X \to \mathbb{R} が距離（metric）であるとは、次の四つを満たすことである。

  1. 非負性: d(x,y) \ge 0
  2. 同一性: d(x,y) = 0 \iff x = y
  3. 対称性: d(x,y) = d(y,x)
  4. 三角不等式: d(x,z) \le d(x,y) + d(y,z)

上に挙げた三つのうち、ユークリッド距離と、\Sigma が正定値であるかぎりのマハラノビス距離は、この四つを満たす。相関距離は満たさない。三角不等式だけでなく、同一性も破れる—\mathbf{r}' = a\mathbf{r} + b\mathbf{1}（a>0、\mathbf{1} は成分がすべて 1 のベクトル）に対して距離がゼロになるからだ。この「平均とスケールを潰す」性質が、第12章第9節で決定的に効いてくる。だから厳密には「距離」ではなく「非類似度」である—RDM が dissimilarity matrix と呼ばれるのはそのためだ。

後ろの二つ、対称性と三角不等式に印を付けておいてほしい。「人間の類似性判断はこの二つを満たさない」というのが Tversky (1977) の有名な批判であり、そうすると「知覚的類似性を距離で表す」という枠組み自体が疑わしくなる。第12章第8節で扱う。

グラム行列と距離行列は同じ情報を持つ

二つの応答パターンの関係は、隔たりを測る距離だけでなく、内積でも表せる。RDM は一般には非類似度を並べた行列だが、これから見る対応はユークリッド距離のときに成り立つので、ここでは距離行列 D \in \mathbb{R}^{M \times M} の成分 d_{mm'} をユークリッド距離に限ろう。もう一つ自然な行列が、内積を並べたグラム行列 G \in \mathbb{R}^{M \times M} である。どちらの行列も、行と列が刺激に対応する。

G_{mm'} = \mathbf{r}_m^\top \mathbf{r}_{m'}

この二つは互換である。実際、距離の二乗を展開すると

\begin{aligned} d_{mm'}^2 &= \|\mathbf{r}_m - \mathbf{r}_{m'}\|^2 \\ &= \mathbf{r}_m^\top \mathbf{r}_m - 2\,\mathbf{r}_m^\top \mathbf{r}_{m'} + \mathbf{r}_{m'}^\top \mathbf{r}_{m'} &&\textsf{(展開しただけ)}\\ &= G_{mm} - 2G_{mm'} + G_{m'm'} &&\textsf{(グラム行列の成分で書き直した)} \end{aligned}

となるので、G から D は作れる。逆向きには、距離を成分ごとに二乗し、行方向と列方向の両方から平均を引く二重中心化を使う。定数倍を調整すると、刺激全体の平均を引いた配置のグラム行列 G_c が得られる。元の G そのものではないのは、配置全体を平行移動しても距離が変わらず、絶対的な位置を復元できないからだ。

あとは G_c を固有値分解し、各固有ベクトルに対応する固有値の平方根を掛ければ、刺激ごとの座標が得られる。これが古典的多次元尺度構成法（classical MDS）である。平面に描くなら、大きい二つの固有値に対応する軸を残す。ユークリッド距離を使うかぎり、その座標は第6章の主成分分析で得る座標と、軸の向きの任意性を除いて一致する。詳しい行列計算は発展編B.5で確かめられる。

ここがポイント

ユークリッド距離からは、平行移動と軸の向きを除いた点の配置を復元できる。RSA と PCA は、同じ線形代数の上に乗っている。ただし、一般の非類似度ではこの復元は保証されない。

ただし—ここには落とし穴がある。二重中心化して固有値分解ができるのは、D がユークリッド距離から来ている場合である。一般の非類似度に対しては負の固有値が出ることがあり、「点の配置」として素直に解釈できない。実際、第2節の相関距離 1-\mathrm{corr} をそのまま距離とみなして二乗し、二重中心化すると、負の固有値が現れる。ところがおもしろいことに、1-\mathrm{corr} のほうを距離の二乗だとみなすと、それは中心化して長さを 1 に揃えたパターンどうしのユークリッド距離の二乗の半分にちょうど一致し、負の固有値は出ない。同じ数値の並びでも、それを距離と読むか距離の二乗と読むかで、点の配置として読めるかどうかが変わってしまうのである。MDS が暗黙に置いているこの前提は、第12章第7節で公理のレベルまで掘る。

距離と計量はどう違うのか

節の題に「計量」と書いたので、ここで言葉を分けておきたい。距離は、二つの点を受け取って隔たりを一つの実数で返す関数である。いま公理を書き下したのがこれだ。いっぽう計量は、空間の各点のまわりで「微小なずれをどう測るか」を定める規則である。点と点ではなく、一点における測り方を与える。

たとえば地球の表面を考えよう。東京とロンドンの隔たりを一つの数で言うのが距離である。これに対して、いま自分が立っている場所で「北へ1度動くのと東へ1度動くのは、実際の長さでどれだけ違うか」を教えるのが計量である（緯度によって答えが変わる）。計量が各点で与えられていれば、道に沿って長さを足し上げて距離を作れる。逆に、距離が与えられていても、そこから計量が読めるとはかぎらない。

紛らわしいのは、英語ではどちらも metric と呼ぶことである。距離空間（metric space）の metric は前者、リーマン計量（Riemannian metric）の metric は後者を指す。本書では、二点の隔たりを返す関数を「距離」、一点まわりの測り方を与える規則を「計量」と訳し分ける。次節では、応答空間で測った長さを刺激空間へ持ち込むことで、刺激空間の各点に計量が定まる—という話をする。そこで出てくる J^\top J が、本書でいちばん大事な行列である。

4. ヤコビアンと引き戻し計量

前節までは、有限個の刺激に対する有限個の点を扱ってきた。だが刺激が連続的に変わる場合—方位が0度から180度まで滑らかに変わる場合—を考えると、話がもっと豊かになる。

刺激を s \in \mathbb{R}^{p}（p 次元の連続パラメータ）とし、応答を

\mathbf{r} = f(s) \in \mathbb{R}^{N}

と書く。刺激の次元に p を使うのは、d を第2節からの距離の記号として空けておくためである。f は第4章で扱ったエンコーディングモデルそのものである。s を動かすと \mathbf{r} が N 次元空間の中で曲線や曲面を描く。その曲面の形を測りたい。

ヤコビアンとは何を並べた表か

s を少しだけ動かしたとき、応答はどう動くか。刺激の微小な変化を \delta \in \mathbb{R}^{p} と書く。\delta は「刺激の各成分をどれだけ変えるか」を並べた列ベクトルで、変化後の刺激が s + \delta である。テイラー展開の一次までで書けば、

f(s + \delta) \approx f(s) + J\,\delta, \qquad J = \frac{\partial f}{\partial s} \in \mathbb{R}^{N \times p}

この J がヤコビアンである。(i,a) 成分は \partial f_i / \partial s_a、つまり「刺激の第 a 成分をわずかに動かしたとき、ユニット i の応答がどれだけ変わるか」だ。

読み方を決めておこう。J の第 a 列は、N 次元表現空間の中のベクトルである。それは「刺激を a 方向に単位量動かしたとき、応答パターンが動く向きと大きさ」を表す。p 本の列ベクトルが張る空間を、その点における応答曲面の接空間（tangent space）と呼ぶ（互いに一次独立なら、つまり J の階数が p なら、この p 本が接空間の基底になる）。曲線に接線を引くのと同じ発想である—曲面の上の一点を選び、そこを通る道をいろいろに走らせて、通過する瞬間の速度ベクトルを全部集めると、その点で曲面に貼りついた平らな空間ができる。それが接空間だ。地球の表面は曲がっているが、足元だけを見れば平らに見える。その「拡大して見えた平ら」が接空間である。接空間の元を接ベクトルと呼ぶ。J\,\delta はまさに接ベクトルで、曲面に沿って動く速度を表している。

具体例で掴んでほしい。刺激が方位 \theta だけ（p=1）なら、J は一本の N 次元ベクトルである。「方位を1度傾けたとき、細胞集団の応答ベクトルはどちらへ、どれだけ動くか」—それがこのベクトルだ。方位チューニング曲線の傾きを全細胞について並べたもの、と言ってもよい。この状況を描いたのが 図 2 である。

図 2: 刺激空間から表現空間への写像とヤコビアン（模式）。同じ刺激点で考えた二つの微小変位を \delta_1、\delta_2 とする（添字の 1 と 2 は二つの変位を区別する番号である）。刺激空間で同じ長さでも、応答空間での像 J\,\delta_1 と J\,\delta_2 は違う長さになりうる。この「表現の側から測り返した長さ」を刺激空間へ持ち帰ったものが、引き戻し計量 J^\top J である。

距離が計量を定める

さて、応答空間での距離を計算しよう。刺激が s から s+\delta に動いたとき、応答パターンはどれだけ離れるか。

\begin{aligned} \|f(s+\delta) - f(s)\|^2 &\approx \|J\delta\|^2 &&\textsf{(一次近似を代入)}\\ &= (J\delta)^\top (J\delta) &&\textsf{(ノルムの定義)}\\ &= \delta^\top J^\top J\, \delta &&\textsf{(転置を分配した)} \end{aligned}

たった三行だが、これが本章でいちばん大事な式である。左辺は応答空間での距離の二乗、右辺は刺激空間のベクトル \delta の二次形式になっている。両者を結んでいるのが

G(s) = J^\top J \in \mathbb{R}^{p \times p}

という p \times p の行列である。これを引き戻し計量（pull-back metric）と呼ぶ。「応答空間にあった距離の測り方を、f に沿って刺激空間へ引き戻したもの」という意味だ。引き戻すのは応答そのものではなく、長さを測る規則である。刺激の微小変位 \delta を応答空間へ送って J\delta の長さを測る代わりに、刺激空間で \delta^\top G(s)\delta を計算すれば、同じ長さの二乗が得られる。上の式に応答空間の距離が現れるのは、その距離を刺激側の変位で計算するために G(s) を作ったからである。これは局所的な一次近似であり、元の刺激空間のユークリッド距離 \|\delta\| に戻しているわけではない。第3節のグラム行列 G_{mm'} とは別物であることに注意してほしい。あちらは刺激どうしの内積を並べた M \times M の行列、こちらは J の列どうしの内積を並べた p \times p の行列で、どちらもグラム行列の形をしているというだけの縁である。

なぜこれが「計量」なのか。ここでいう計量とは、各点のまわりで微小な変位どうしの内積を定め、そこから長さや角度を測るための規則である。刺激空間の座標だけでは、この長さの測り方までは決まっていなかったことに注意してほしい。「45度と46度の差」と「0度と1度の差」は、物理的にはどちらも1度である。だが表現空間で測れば、二つの差の大きさは違っていてよい。式で言えば、微小変位 \delta \in \mathbb{R}^{p} の長さの二乗を \delta^\top G(s) \delta で測る、というのが計量を与えるということだ。第3節の距離が二点の隔たりを直接与えたのに対し、計量は一点のまわりでの測り方を与える。G(s) はまさに「表現の側から見たとき、刺激空間のどの方向がどれだけ重みを持つか」を教える行列である。

G(s) から何が読めるか

G = J^\top J は対称かつ半正定値だから、固有値分解できる。そしてその固有値・固有ベクトルには、はっきりした意味がある。

  • 固有ベクトル — 刺激空間の中で「応答がよく動く方向」と「あまり動かない方向」
  • 固有値 — その方向での感度の二乗。J の特異値の二乗にあたる
  • 階数（rank） — 一次近似で応答が動ける方向の数。局所的な表現次元である

階数について一言

J は N \times p 行列だが、その階数は \min(N,p) より小さいことがある。たとえば p = 10 次元の刺激パラメータを与えても、一次近似で応答が3次元しか動かないなら階数は3である。残りの7次元分の刺激変化は、一次近似では表現に現れない。ただし、一点でヤコビアンの階数が落ちるだけでは、異なる刺激が実際に同じ応答になるとは限らない。第4章で扱った複雑細胞の位相不変性は、まさにこの「階数が落ちる」現象の一例である。

ここがポイント

ヤコビアン J の列は表現空間における接ベクトル。J^\top J の固有値は方向ごとの感度の二乗、階数は局所的な表現次元を与える。一次近似で刺激のどの方向も表現に現れるとき、これは刺激空間に誘導される計量になる（階数が落ちると、長さゼロの方向ができてしまう）。第2節の RDM が「大域的な形」なら、J^\top J は「局所的な形」である。

一つ、言葉の使い方に注意がいる。J^\top J が本当の計量（正定値で、逆行列を持ち、第13章第5節で見るようにベクトルと読み出しを結びつけられる）になるのは、J の列がフルランクのとき、つまり一次近似で刺激のどの方向も表現に現れるときである。上で見たように階数が落ちている場合、J^\top J は半正定値で退化した二次形式にとどまる。潰れた方向には長さ 0 が与えられてしまい、違う変位を距離で区別できない。逆行列も存在しない。本書で「計量」と呼ぶときは、フルランクの場合を考えていると読んでほしい。退化は一次近似で感度がゼロになる方向を教えるが、それだけで情報が失われたとは言えない。

四つ目の役目

ここで少し立ち止まってほしい。J という記号に、本書ではもう何度も会っている。

  • 第2章第4節・第3章第3節 — FitzHugh–Nagumo とウィルソン・コーワン方程式の固定点の安定性を、ヤコビ行列の固有値で判定した
  • 第5章第2節 — 確率密度の変数変換で |\det J|^{-1} という因子が現れた
  • 第9章第5節 — NTK が \Theta = J_\theta J_\theta^\top という形をしていた
  • そして本節 — 表現の局所的な計量が J^\top J である

これは偶然ではない。「写像が微小な変化をどう伝えるか」を知りたいとき、われわれはいつもヤコビアンを見ている。力学系では時間発展の写像、確率では変数変換の写像、学習ではパラメータから出力への写像、表現では刺激から応答への写像—対象が違うだけで、道具は一つだ。

とくに第9章の NTK との関係は覚えておく価値がある。NTK はパラメータに関するヤコビアン J_\theta から作られ、本節の計量は入力に関するヤコビアン J_s から作られる。前者が学習のダイナミクスを支配し、後者が表現の幾何を支配する。同じ道具が、微分する変数を替えるだけで別の役目を果たす。

5. フィッシャー情報行列の再登場

さて、約束を果たそう。第6章第5節で計算したフィッシャー情報量が、前節の幾何とどうつながるかを見る。同じ方位を繰り返し見せても、応答は毎回わずかに揺らぐ。その揺らぎが大きければ、平均応答の違いだけから刺激を区別するのは難しくなる。第6章では、このノイズのある応答から刺激を推定する精度を考えた。

応答 \mathbf{r} \in \mathbb{R}^{N} が、平均 f(s) \in \mathbb{R}^{N}、共分散 \Sigma \in \mathbb{R}^{N \times N} のガウス分布に従うとする。\Sigma は「同じ刺激を与えたときに応答がどう揺らぐか」を表す行列で、行と列がともに応答ユニットに対応する。ここでは刺激によらない正定値行列とし、\Sigma^{-1} はその逆行列である。このとき、フィッシャー情報行列 \mathcal{I}(s) \in \mathbb{R}^{p \times p} は

\mathcal{I}(s) = J^\top \Sigma^{-1} J

となる。そして Cramér–Rao 下界により、どんな不偏推定量 \hat{s} \in \mathbb{R}^{p} の共分散も（下式の \mathrm{Cov}(\hat{s}) \in \mathbb{R}^{p\times p} は、行も列も推定する刺激成分に対応する）

\mathrm{Cov}(\hat{s}) \succeq \mathcal{I}(s)^{-1}

を満たす（\succeq は「差が半正定値」の意味）。つまり \mathcal{I} が小さい方向では、どんな不偏推定量を使っても分散が大きくなる。大きい方向では下限が小さくなる—ただし、その精度が実際に達成できるとまで言っているわけではない。この式を、前節の目で見直してほしい。

\underbrace{J^\top J}_{\textsf{引き戻し計量}} \qquad\text{vs}\qquad \underbrace{J^\top \Sigma^{-1} J}_{\textsf{フィッシャー情報行列}}

違いは \Sigma^{-1} が挟まっているかどうかだけである。ノイズが等方的（\Sigma = \sigma^2 I）なら、両者は定数倍で一致する。

ただし、この形になるための前提を書いておく。応答が多変量ガウスで、共分散 \Sigma が刺激に依存しない場合である（依存する場合は \Sigma の微分から来る項が加わる）。さらに \Sigma は正定値、Cramér–Rao 下界で \mathcal{I}^{-1} を使うには \mathcal{I} も非特異でなければならない。第2節の RDM との対応も、近い刺激どうしについて \mathbf{r}-\mathbf{r}' \approx J\,\delta s と近似できる範囲での話である。

\mathcal{I}(s) = \frac{1}{\sigma^2} J^\top J = \frac{1}{\sigma^2}\, G(s)

つまり—等方的なノイズのもとでは、「表現幾何の計量」と「デコーディング精度」は同じものである。これは考えてみれば当然のことを言っている。二つの刺激が表現空間で遠く離れていれば、ノイズに埋もれずに区別できる。近ければ区別できない。「表現の形」と「読み出しの精度」が別々の話であるはずがない。だが式のレベルで同じだと分かるのは、それなりに気持ちのよいことだ。そして第2節でマハラノビス距離を紹介したとき、「この式の形を覚えておいてほしい」と書いた理由も、いまなら分かるだろう。

d_{\text{Mah}}^2 = (\mathbf{r} - \mathbf{r}')^\top \Sigma^{-1} (\mathbf{r} - \mathbf{r}')

\mathbf{r} - \mathbf{r}' \approx J\delta を代入すれば \delta^\top J^\top\Sigma^{-1}J\,\delta = \delta^\top \mathcal{I}\,\delta である。近接する刺激のあいだでは、RDM をマハラノビス距離で作ることは、フィッシャー情報量で距離を測ることと同じなのだ。RSA の実務でマハラノビス距離（あるいはその不偏推定版）が好まれるのには、こういう理由がある。

ここがポイント

J^\top J（表現幾何の計量）と J^\top\Sigma^{-1}J（フィッシャー情報行列）は、ノイズの重み付けを除いて同じ式である。幾何と精度は別の話ではない。第6章のデコーディングと本章の表現幾何は、同じ数学の二つの顔だった。

ヒント手を動かす

方位選択性の集団を作って、上の一致を数値で確かめよう。コードは コード/06_fisher.py を使いまわせる。

N=32 個の細胞が好み方位を [0,180) に等間隔に持ち、フォン・ミーゼス型のチューニングを持つとする。p=1 なので J は N 次元ベクトルで、引き戻し計量は J^\top J = \sum_i f_i'(\theta)^2 というスカラーになる。

# p = 1 なので J は N 次元ベクトル（f_i' を並べたもの）
def jacobian(theta, kappa):
    d = np.deg2rad(2*(theta - prefs))
    fi = A*np.exp(kappa*(np.cos(d) - 1))
    return fi*(-kappa*np.sin(d))*np.deg2rad(2)

J = jacobian(37.0, 2.0)
fi = f(np.array(37.0), 2.0)   # 各細胞の平均発火率
print(J @ J)                  # 引き戻し計量 J^T J
print((J**2/fi).sum())        # J^T Σ^-1 J（ポアソン）

最後の二行が本節の要点である。同じ J から出発しても、重みを何にするかで別の量になる。

結果は第6章第5節と同じで、\theta にまったく依存しない（J^\top J の最大と最小の比が、\kappa=2 では小数第6位まで 1）。等方的なノイズなら \mathcal{I} = J^\top J/\sigma^2 だから、第6章と同じ形の式を計算していることになる—あちらでは「推定精度の限界」、ここでは「表現空間での伸び縮み」と呼んでいるだけである。

\kappa（チューニングの鋭さ）を上げると J^\top J は増える（\kappa=2 で 2.79、\kappa=16 で 8.70）。表現空間での「刺激1度あたりの移動距離」が伸びている、と読める。

ただし第6章の数値とは一致しない。あちらの \mathcal{I}（\kappa=2 で 0.336）はポアソンノイズを仮定しており、\Sigma = \mathrm{diag}(f_i) の重みが掛かった J^\top \Sigma^{-1} J である。この \Sigma は刺激に依存しているが、ポアソンではちょうどこの形になることが第6章第5節で導いてある。ガウスで \Sigma が刺激に依存する場合には、\Sigma の変化から来る項が別に加わる。同じ J から出ているのに、どんなノイズを想定するかで値が変わる—次節でこの一般形に戻る。

では、チューニングは鋭いほうがよいのだろうか。いま確かめた移動距離の増加は、方位をわずかに変えたときの応答の変化についての結果であり、効くのは「近くの方位を区別する」向きだけである。曲線の一部で移動量が大きくても、それだけでは遠く離れた方位の応答が遠くに来るとは言えない。では、遠く離れた方位はどうなるだろうか。応答パターンの集まり全体を曲線や曲面として捉える、第6節の多様体の言葉で考えてみてほしい。

6. 神経多様体と分離可能性

前節までは「一点のまわりの局所的な形」を見てきた。視野を広げよう。

多様体という言い方

刺激が連続的に変わると応答は曲面を描く、と第4節で述べた。この曲面のことを神経多様体（neural manifold）と呼ぶ。多様体という言葉に身構える必要はない。ここでは「高次元空間の中の、低次元の滑らかな部分集合」という程度の意味で使う。

なぜ低次元なのか。N 個のユニットがあれば表現空間は N 次元だが、実際に応答が到達する点は N 次元空間全体には広がらない。刺激パラメータが p 次元なら、応答は高々 p 次元の部分集合に乗る。N \gg p のとき、応答は広大な空間の中の薄い膜のような集合に集中する。これが「神経多様体」という言い方の実質である。

運動系での例が分かりやすい。サルの運動皮質から数百個の細胞を記録すると、その活動はほとんど数次元の部分空間の中で動く（Gallego ら 2017）。数百次元の自由度があるのに、実際に使われているのは10次元に届かない。ただし、ここで測れる次元は課題が要求する自由度と記録できた細胞の数で頭打ちになることには注意がいる。それでもなお、これは冗長性ではなく制約として読まれてきた—運動皮質は、少数の潜在変数で記述できる何かを表現している。

物体多様体と untangling

視覚系での主役は物体多様体（object manifold）である。一つの物体—たとえば特定の顔—を考える。それを様々な位置・大きさ・向き・照明で提示すると、それぞれに応答パターンが生じる。同じ物体に対する応答パターンの集まりが、その物体の多様体である。物体を変えれば別の多様体ができる。

物体認識の課題を、この言葉で言い換えてみよう。「顔と椅子を区別する」とは、顔の多様体と椅子の多様体を分離することである。そして分離のもっとも単純な形は、両者の間に超平面を一枚通すこと—線形分離である。

網膜のレベルでは、これができない。同じ顔を左に寄せただけでピクセルパターンは全然違うものになるから、顔の多様体は空間の中でぐしゃぐしゃに折り畳まれて広がっており、椅子の多様体と絡み合っている。DiCarlo と Cox はこの状態を tangled（もつれている）と呼び、視覚の階層を上がる過程を untangling（もつれ解き）と呼んだ。IT 野では、実験に使われた画像集合の範囲では、多様体は線形分離できるところまで解けている。

この比喩の良さは、何が起きていないかをはっきりさせる点にある。untangling は「情報を増やす」ことではない。網膜にあった情報が IT 野で増えるはずがない。起きているのは同じ情報の配置の変更である。読み出しやすい形に並べ替えること—それが視覚の階層がやっている仕事だ、という主張になる。

容量という定量化

「線形分離できる」を定量化したい。Chung, Lee, Sompolinsky (2018) は多様体容量（manifold capacity）という量を導入した。

問いはこうである。N 次元空間に P 個の多様体を置き、それぞれにランダムな二値ラベルを振る。ラベルどおりに線形分離できる確率が高いのは、P がどれだけまでか。

点（多様体が一点に縮んだ場合）なら、答えは古典的に知られている。ここで N は空間の次元、P は点の数である。「一般の位置にある」とは、点が余分に同じ低次元の平面に乗るといった特殊な重なりがないことをいう。この条件のもとでは、ラベルをランダムに振ったときに超平面で分けられる確率が P \approx 2N の付近で急に落ちる。この意味で P \approx 2N が限界である。

これはVC次元とは問いが違う。VC次元は「すべての二値ラベル付けを実現できる点集合を、最大で何点まで用意できるか」を測る量で、線形分離器なら N+1 である。ここで問うているのは、すべてのラベル付けではなく、ランダムに選んだ一つのラベル付けを分けられる確率だ。だから同じ設定でも数字が違う。

多様体の場合は、一つの点ではなく、同じラベルを持つ多様体全体を超平面の同じ側に置かなければならない。その広がりのぶん難しくなる。容量は次の三つで決まる。

  • 半径 R_M — 多様体の広がりの大きさ。小さいほど分離しやすい（第1節の応答行列 R とは別物である）
  • 次元 D_M — 多様体が何次元に広がっているか。低いほど分離しやすい（第2節の RDM D とは別物である）
  • 相関 — 多様体の中心どうしの相関。低いほど分離しやすい

そして深層ネットワークの層を上がると、実際にこの三つが減っていく（Cohen ら 2020）。つまり untangling という比喩は、測れる量に翻訳できたわけだ。半径が縮み、次元が落ち、相関が下がる—それが「もつれが解ける」の中身である。

ここで一つ、注意を促しておきたい。次元が落ちることは、いつでも良いことなのだろうか。分離しやすさだけを考えれば、多様体を一点に潰してしまうのがいちばんよい。だがそれは「同じ物体のすべての見え方を区別できなくなる」ことでもある。位置も大きさも向きも読み出せなくなる。次節でこのトレードオフを見る。

7. 表現の次元

「表現の次元」という言い方を、ここまで何度か使ってきた。定義を与えておこう。

参加率

応答パターンの共分散行列 \Sigma_R の固有値を\lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_N \ge 0 とする。第6章の主成分分析でやったとおりだ。この \Sigma_R \in \mathbb{R}^{N\times N} は刺激をまたぐ応答のばらつきで、行も列もユニットに対応する（第5節の \Sigma が同じ刺激を繰り返したときのばらつきだったのに対し、こちらは刺激が変わることによるばらつきである）。

もし \lambda_1 だけが大きくて残りがゼロなら、点は一直線上に並んでいる（1次元）。非ゼロの固有値がすべて等しく、その数が N なら、点は等方的に広がっている（N 次元。ただし平均を引いた共分散行列の階数は高々 \min(N, M-1) なので、刺激の数 M が N+1 以上ないとこの状態にはならない）。この中間を一つの数で表したい。参加率（participation ratio）はそのための量である。

D_{\text{PR}} = \frac{\left(\sum_i \lambda_i\right)^2}{\sum_i \lambda_i^2}

なぜこれで次元が測れるのか、確かめてみよう。k 個の固有値が等しく \lambda で、残りがゼロだとする。すると

D_{\text{PR}} = \frac{(k\lambda)^2}{k\lambda^2} = \frac{k^2\lambda^2}{k\lambda^2} = k

ちゃんと k が返ってくる。固有値の分布が偏っていれば D_{\text{PR}} は N より小さい値になる。「実質的に何次元使っているか」の目安になっているわけだ。

次元と汎化のトレードオフ

前節の最後で立てた問いに戻る。次元は低いほうがよいのか。

低いほうがよい理由は、前節で見た。分離しやすい。ノイズに強い。少ないサンプルから学習できる。

高いほうがよい理由もある。多くのことを区別できる。階数が k なら、線形に区別できる方向は最大で k 個である。次元を落とせば、その分だけ何かを捨てている。

ここで二つの「次元」を区別しておきたい。階数は「非零の分散を持つ方向がいくつあるか」という整数で、区別できる方向の上限を与える。いっぽう前節の参加率は、固有値がどれだけ偏っているかを連続量で測る目安である。固有値がすべて非零でも、一つだけが大きければ参加率は 1 に近くなる—それでも階数は落ちていない。「参加率が小さいから区別できる方向が少ない」とは言えないのだ。

次元にはトレードオフがある。低すぎれば必要な区別ができず、高すぎれば多様体が絡み合って分離しにくくなる（第6節の多様体容量）。なおモデルのパラメータ数と表現の次元は別物である—前者を増やすと過学習するという古典的な描像が破綻したことは、第9章第2節で見たとおりである。どこに置くのが最適かは、何を読み出したいかによる。「良い表現」は課題を指定しないと決まらない—これは本書で繰り返し現れる主題である。

第9章第7節で扱った Neural Collapse は、この文脈でとくに示唆的な現象である。分類課題を最後まで学習させると、訓練データについて、最終層で同じクラスの表現が一点に近づいていく（クラス内分散がゼロに向かう）。分類には最適な形だ。だがその課題以外に必要だった区別は、少なくとも最終層では、分類に使える形で残っていない。そして訓練分布の外の入力がどこに写るかについては、何の保証もない。

8. 脳とDNNの表現幾何を比べる

道具が揃った。本章の締めくくりに、いちばん人を惹きつける問いへ進もう—脳と深層ネットワークの表現は似ているのか。まず、比べようとしている二つがどういう関係にあるのかを確かめておきたい。同じ画像を見せたとき、脳は活動パターンを作り、ネットワークは特徴量を作る。どちらも、同じ刺激から生じた潜在特徴である。一方が他方を引き起こすわけではない。兄弟の関係だ—この見方が、第15章第10節で扱う枠組みの出発点になる。だから本節の問いは、こう言い換えられる。兄弟どうしは、どれだけ似た構造を持っているのか。RDM を比べるとは、その構造の近さを測る一つの方法である。

比べ方は一つではない。本書がここまでに出した三つを、先に並べておく。

比べ方 何を比べるか 許される取り替え 向き
RSA（本節） 刺激対の非類似度（RDM） 距離を変えない変換 対称
線形エンコーディング（第4章） 特徴量から脳活動を予測できるか 特徴側の可逆線形変換 特徴 → 脳
線形プローブ（第6章・第18章第8節） 表現から属性を読み出せるか 表現側の可逆線形変換 表現 → 属性

どれも「似ている」と言うのだが、許している取り替えが違う。 RSA で何が許されるかは、選んだ距離が決める。プローブの不変性は、変換のあとで読み出しを当て直す限りの話である（第12章第10節）。そして対称なのは RSA だけで、これはどちらを説明する側にもしない。同じデータでも結論が食い違いうるのは、こうした違いのためである。第12章第2節の言葉でいえば、指標ごとに許容変換群が違う。そして何と比べて高いのかを決める零仮説は、どの比べ方でも別に用意しなければならない。零仮説とは、検出したい対応がない場合を表す比較の基準である。第17章第10節で、この点が正面から問題になる。

RSA による比較

第2節で述べたとおり、RDM ならユニット数が違っても比べられる。だから手続きは素直である。

  1. 同じ刺激集合（たとえば画像100枚）を、脳とネットワークの両方に与える
  2. それぞれから RDM を作る
  3. 二つの RDM の相関を取る

Khaligh-Razavi と Kriegeskorte (2014) はこれをやった。当時利用できた多数のモデルの RDM を、サル IT 野およびヒト側頭葉の RDM と比べたのである。結論は、教師あり学習で訓練された深層ネットワークがもっともよく一致した、というものだった。教師なしのモデルは及ばなかった。

Yamins と DiCarlo (2016) はこれを目標駆動モデリング（goal-driven modeling）として定式化した。神経回路を細部まで真似るのではなく、同じ課題を解かせれば表現が自然に似てくる—という戦略である。Schrimpf らの Brain-Score は、この比較をベンチマークとして制度化した。ここまでは景気のよい話で、性能を上げれば脳に似るという素直な期待が持てる。

ところがそうならない

だが話はそう単純ではなかった。第一に、性能と脳との一致は、何をもって「一致」と呼ぶかで関係が変わる。領域ごとの応答予測で測ると、高性能な領域に入ったところで精度との相関が消える。いっぽう Nonaka ら (2021) は、DNN の層と視覚野の階層がどれだけ対応しているかを脳階層スコアとして別に定義し、29個の学習済みネットワークで測った。スコアは ImageNet の認識精度と負に相関した—新しく高性能なネットワークほど、階層としては脳から遠いのである。効いていたのは、単一経路の順伝播で空間的な統合が広い、という構造の側の性質だった。

そもそも「一致の絶対量」が何を意味するかも自明ではない。Saxe ら (2021) は二つの数字を並べている。もっとも性能の高い DNN は、サル IT 野の応答分散の 60% を線形に説明できる。だが、画像分類の成績がかなり劣るネットワークでも、説明できる分散は 5 ポイントしか下がらない。もう一つは fMRI の話である。BOLD 信号は、神経活動に伴う血液の酸素化の変化をとらえた fMRI の信号で、発火そのものを直接測った値ではない。その BOLD 信号の予測では、訓練したネットワークとランダムな重みのネットワークとの差が、多くの視覚領野で 5〜10% しかない。対応が生まれるのは訓練のせいではなく、自然画像の統計を共有しているせいかもしれない。

第二に、高性能なモデルは人間と違う戦略を使っている。Geirhos ら (2018) が示したのは、ImageNet で訓練された CNN が形よりテクスチャに頼っていることだった。猫の形をした象のテクスチャの画像を見せると、CNN は象だと答える。人間は猫だと答える。同じ課題で高い精度を出しながら、まったく違うものを見ているわけだ。

だから「性能が高いほど脳に似る」という期待は素直には成り立たない。では何を比べるべきなのか。表現の幾何を比べるべきだ—というのが本章の立場である。精度という一次元の指標ではなく、点の配置という豊かな構造を比べる。それなら「どう似ていて、どう違うか」が言える。

そして足元が崩れる

ここで一つ、留保を入れなければならない。RDM の相関が高いことは、本当に「表現幾何が似ている」ことを意味するのだろうか。

ここで思い出してほしい。われわれが比べているのは、脳から測った RDM とネットワークから計算した RDM である。どちらも刺激対の非類似度を並べた行列だが、もとになる応答パターンの得られ方が違う。前者は fMRI ボクセルや電極を通して得られたものだ。次章では、fMRI ボクセルの応答を多数のニューロンの活動の非負の重み付き和、単一細胞記録を集団の一部の抜き取りとして近似する。後者は全ユニットの値をそのまま使ったものである。

測定の仕方がこれだけ違うのに、同じ「表現幾何」を測っていると言えるのか。

この問いは真剣に受け取る必要がある。第2節で保留した「なぜ相関距離がうまくいくのか」という疑問も、まだ答えていない。それどころか—第3節で見たように、RDM が点の配置として解釈できるための条件（ユークリッド性）さえ、相関距離では満たされていない。つまり本章は、道具を並べたところで足元が崩れて終わる。RSA も表現次元も多様体容量も、「何を実数に写してよいのか」という問いに答えないまま数を計算していた。その問いを扱うのが次章である。測定理論という、心理学が百年かけて作った道具を借りることになる。そして最後に、Botero と Kriegeskorte (2025) の結果として、第2節の宿題—相関距離がなぜうまくいくのか—のうち、平均を引く操作の役割が見えてくる。

ノートコラム：表現幾何は何を対象に測られてきたか

本文で扱った RDM は、実際にはどんなデータから作られているのか。代表的な三つを挙げる。

サル IT 野の多細胞記録

下側頭皮質（inferior temporal cortex）に電極を刺して発火を記録する。ただし数百個ぶんが一度に取れるとは限らない。表現幾何の議論で繰り返し引かれる Kiani らのデータセットは、2頭のサルから複数の記録セッションにわたって集めた674個の細胞に、千枚規模の自然画像を提示したものである—あとから一つの集団として並べた、いわば擬似的な集団である。利点は単一細胞の分解能があること。限界は、記録できるのが集団のごく一部（IT 野には数千万個の細胞がある）で、しかも電極が刺さりやすい細胞に偏っている可能性が排除できないこと。

ヒト側頭葉の fMRI

物体の形への応答で知られる外側後頭複合体（LOC）、顔への応答で知られる紡錘状回顔領域（FFA）、場所や風景への応答で知られる海馬傍回場所領域（PPA）など、後頭葉から側頭葉の腹側にかけての領域でボクセル活動パターンを測る。一つのボクセル（典型的には 2\times2\times2 mm 程度）には数十万個のニューロンが含まれ、測っているのは神経活動そのものではなく血液の酸素化の変化に由来する BOLD 信号である。時間分解能は秒のオーダー。利点は脳全体を非侵襲で覆えること、ヒトを対象にできること。限界は、空間・時間の両方で大幅に平均化された信号しか得られないこと。

公開データセット

Natural Scenes Dataset（NSD）のような大規模データが共有され、同じ刺激・同じ被験者で複数の研究を比較できるようになった。ただし刺激集合の偏り（どんなカテゴリが何枚含まれるか）が結果を左右するので、データセットを跨いだ検証が要る。実際、Shirakawa ら (2025) は NSD の画像集合そのものを調べ、意味的にも視覚的にも多様性が限られていて、訓練用と評価用の刺激が重なっていることを示した。訓練と評価が似ていれば、汎化していなくても成績は出る。近年は THINGS-data（Hebart ら 2023。fMRI・MEG・行動を同じ刺激集合で揃えたもの）のような別の共有データも出ているので、どのデータで測ったかを結論と一緒に書く必要がある。

分かっていないこと

ここに挙げた三つは、それぞれ違う空間スケール・違う物理量を測っている。それらから計算した RDM が「同じもの」を測っているという保証は、本来どこにもない。実際に三つの RDM が似た値を返すことは経験的に知られているが、なぜそうなるのかが理論的に整理されたのはごく最近である（第12章第9節）。そしてその整理でも、ノイズとの相互作用や fMRI ボクセルの空間相関は、今後の課題として残されている。

出典　Kiani et al. (2007)、Kriegeskorte et al. (2008)、Allen et al. (2022)。

確認問題

  1. ［確認］RDM の大きさが刺激数 M だけで決まり、ユニット数 N に依存しないことを確認せよ。そのうえで、この性質が RSA の何を可能にしているかを述べよ。（第2節）

  2. ［確認］距離の四つの公理のうち、相関距離が満たさないものを挙げよ。（第2節・第3節）

  3. ［導出］グラム行列 G から距離の二乗 d^2_{mm'} を与える式を導出せよ（本文第3節の三行を自分で再現せよ）。（第3節）

  4. ［導出］ノイズが等方的（\Sigma = \sigma^2 I）のとき、フィッシャー情報行列 \mathcal{I}(s) と引き戻し計量 J^\top J の関係を示せ。（第5節・第6章第5節）

  5. ［導出］固有値が k 個だけ等しく残りがゼロのとき、参加率 D_{\text{PR}} が k になることを確かめよ。（第7節）

  6. ［考える］「表現の次元は低いほうがよい」という主張に対する反論を、本文の議論に基づいて述べよ。（第7節・第17章第4節）

  7. ［考える］「性能の高い DNN ほど脳に似る」という期待が素直には成り立たない理由を、二つ挙げよ。（第8節）

  8. ［考える］脳活動と DNN 特徴量は、同じ刺激から作られた「兄弟」だと本文で述べた。この見方を取ると、両者を比べる作業の何が変わるか。第15章第10節の枠組みを参照して答えよ。（第8節・第15章第10節）

参考文献

  • Kriegeskorte, N., Mur, M., & Bandettini, P. (2008). Representational similarity analysis – connecting the branches of systems neuroscience. Frontiers in Systems Neuroscience, 2, 4. https://doi.org/10.3389/neuro.06.004.2008 — RSA の原典［2節］。同じ年の Kriegeskorte, N. et al. (2008b) Matching categorical object representations in inferior temporal cortex of man and monkey. Neuron がアニマシーの分割を示した仕事［2節］
  • Kriegeskorte, N., & Wei, X. (2021). Neural tuning and representational geometry. Nature Reviews Neuroscience, 22(11), 703–718. https://doi.org/10.1038/s41583-021-00502-3 — 本章全体の見取り図。まずこれを読むとよい
  • Chung, S., & Abbott, L. F. (2021). Neural population geometry: an approach for understanding biological and artificial neural networks. Current Opinion in Neurobiology, 70, 137–144. https://doi.org/10.1016/j.conb.2021.10.010 — 多様体の観点からの総説［6節］
  • DiCarlo, J. J., & Cox, D. D. (2007). Untangling invariant object recognition. Trends in Cognitive Sciences, 11(8), 333–341. https://doi.org/10.1016/j.tics.2007.06.010 — untangling［6節］
  • Khaligh-Razavi, S., & Kriegeskorte, N. (2014). Deep supervised, but not unsupervised, models may explain IT cortical representation. PLOS Computational Biology, 10(11), e1003915. https://doi.org/10.1371/journal.pcbi.1003915 — 脳とモデルの RDM 比較［8節］
  • Shirakawa, K., et al. (2025). Spurious reconstruction from brain activity. Neural Networks, 190, 107515. https://doi.org/10.1016/j.neunet.2025.107515 — NSD の刺激集合の多様性の限界と、訓練・評価の重なり［8節・第15章第10節］
  • Hebart, M. N., et al. (2023). THINGS-data, a multimodal collection of large-scale datasets for investigating object representations in human brain and behavior. eLife, 12, e82580. https://doi.org/10.7554/eLife.82580 — NSD 以外の共有データ［8節］
  • Botero, V. B., & Kriegeskorte, N. (2025). When do measured representational distances reflect the neural representational geometry? eLife. https://doi.org/10.7554/elife.106812 — 第2節で保留した問いのうち、平均除去の役割を考える。詳しくは第12章第9節［2節・8節］
  • Tversky, A. (1977). Features of similarity. Psychological Review, 84(4), 327–352. https://doi.org/10.1037/0033-295X.84.4.327 — 類似性判断は対称性と三角不等式を満たさない［3節・第12章第8節］
  • Yamins, D. L. K., & DiCarlo, J. J. (2016). Using goal-driven deep learning models to understand sensory cortex. Nature Neuroscience, 19(3), 356–365. https://doi.org/10.1038/nn.4244 — 目標駆動モデリング［8節］
  • Geirhos, R., et al. (2018). ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness. arXiv:1811.12231. https://doi.org/10.48550/arxiv.1811.12231 — 高性能なモデルは形よりテクスチャに頼る［8節］
  • Gallego, J. A., Perich, M. G., Miller, L. E., & Solla, S. A. (2017). Neural manifolds for the control of movement. Neuron, 94(5), 978–984. https://doi.org/10.1016/j.neuron.2017.05.025 — 運動系の神経多様体［6節］
  • Cohen, U., Chung, S., Lee, D. D., & Sompolinsky, H. (2020). Separability and geometry of object manifolds in deep neural networks. Nature Communications, 11(1), 746. https://doi.org/10.1038/s41467-020-14578-5 — 層を上がると半径・次元・相関が減ることを測った［6節］
  • Nonaka, S., Majima, K., Aoki, S. C., & Kamitani, Y. (2021). Brain hierarchy score: which deep neural networks are hierarchically brain-like? iScience, 24(9), 103013. https://doi.org/10.1016/j.isci.2021.103013 — 階層としての脳らしさは認識精度と負に相関する［8節］
  • Saxe, A., Nelli, S., & Summerfield, C. (2021). If deep learning is the answer, what is the question? Nature Reviews Neuroscience, 22(1), 55–67. https://doi.org/10.1038/s41583-020-00395-8 — 脳とDNNの一致をどう読むかの留保［8節］