17 世界モデル ── 脳はなぜ世界に似るのか
前章の自由エネルギー原理は、「脳は世界の生成モデルを持つ」と主張した。そして前章で見たとおり、その主張の検証は難しい。何を観測しても後づけで説明できてしまうのではないか、という批判に、理論の側はまだ十分に答えていない。
ならば、作ってみたらどうか。
これが AI 側のアプローチだった。第10章第7節で、その作り方を見た—潜在状態の遷移モデルと観測モデルを学習し、その中で計画する。作ったものには、少なくとも構造の曖昧さがない。設計図があるからだ。だが、構造が分かることと、中身に何が入っているかが分かることは別である。本章で問うのは、その先である。設計図があるとして、そこには何が入っているのか。そして—
脳とAIの表現が似てくるとしたら、それはなぜなのか。
この二つの問いは、じつは一つである。世界のモデルを内に持つ系は、世界の構造に似ざるをえない。だとすれば「なぜ似るのか」は「何を内に持っているのか」の裏返しになる。本章はこの見立てを、作る側と脳の側の両方から検討する。
第1〜2節が土台である。第1節で世界モデルという考えの来歴を辿り、第2節で「なぜモデルを持つのが合理的なのか」を制御理論の古い定理から与える。ただしそこで手に入るのは状態と手の対応表であって、前章の自由エネルギー原理が言う生成モデルまでが保証されるわけではない—この線引きも第2節で述べる。
第3〜6節が、作られた世界モデルの検討である。第4節が本章の核心で、「予測誤差をどの空間で測るか」という選択を扱う。技術的な設計の話に見えて、中身は第12章の測定の問題そのものである。ここだけは飛ばさないでほしい。
第7節で脳の側に戻る。認知地図や場所細胞は、世界モデルの実物と呼べるだろうか。
第8〜10節が本章の到達点である。なぜ収束が期待できるのか(第8節)→ 実際に収束しているのか(第9節)→ 脳とAIを比べるには何が必要か(第10節)と進む。第11章の表現幾何、第12章の測定理論、第13章の対称性が、ここで全部使われる。
第10節を読み終えたら、次章で「そもそも表現(表象)とは何か」を問うことになる。
1. 世界モデルとは何か ── この考えの来歴
まず言葉を整えたい。「世界モデル」という語は、いま広く使われているが、指しているものが一つではない。
第10章第7節では、遷移モデルと観測モデルの対として定義した。潜在状態が行動を受けてどう動くかを決めるのが遷移モデル、その状態から何が見えるかを決めるのが観測モデルである。強化学習の文脈では、これで十分だった—計画に使えればよいのだから。だが本章の問いは「そこに何が入っているのか」である。すると、この定義では足りない。何を予測させるかによって、中身がまるで違うものになるからだ。
内的模型という発想
出発点は、計算機より古い。Craik (1943) は、神経系が「外界と、自分がとりうる行動の、小規模な模型(small-scale model)」を持っていると論じた。模型を持っていれば、実際に試す前に頭の中で試せる。失敗も頭の中で済む—だから危険を避けられる。
言われてみれば当たり前に聞こえるだろうか。だが、これは行動主義が支配的だった時代の主張である。刺激と反応の連鎖だけで行動を説明しようという当時の潮流に対して、内部に世界の代理物を要求した議論だった。第10章で触れた Tolman (1948) の認知地図も、同じ時代の同じ趣旨の主張である。
世界を微分可能にする
この発想を、学習するネットワークとして実装する提案が1990年前後に現れる。Schmidhuber (1990) の言い方が、いちばん鋭い。世界を微分可能にする(making the world differentiable)というのである。
何を言っているのか。実世界は微分できない。行動を少し変えたら結果がどれだけ変わるか—その勾配は、世界に問い合わせても返ってこない。何度も試すしかない。
ところが、世界の代理となるネットワークを学習しておけば、話が変わる。代理は微分可能である。だから「この行動をこう変えれば結果がこう変わる」を勾配として計算し、制御側をその勾配で直接に訓練できる。世界を微分可能な部品に置き換えてしまう、という発想である。同じ著者は翌年、モデルの誤差そのものを内発的な報酬として使う提案も出している(Schmidhuber 1991)—予測が外れる場所へ行けば、モデルが良くなる。第10章第6節で触れた好奇心駆動の探索の原型であり、前章第4節の情報利得とも同じ形をしている。
実装として結実したのは、それから四半世紀後だった。Ha & Schmidhuber (2018) が、学習した世界モデルの中だけで方策を訓練し、それが実環境で動くことを示した—第10章第7節で見た「夢の中で学習する」である。Dreamer 系がこれを洗練させたことも、そこで述べた。
「世界モデル」が指すものを分ける
ここまでで、系譜の中に少なくとも四つの立場が混じっていることが見える。整理しておこう。
| 何を予測させるか | 何のために | 代表例 |
|---|---|---|
| 観測そのもの(ピクセル) | 世界を映像として再現する | 動画の生成モデル(第5節) |
| 潜在状態。ただし表現は観測の復元で支える | 低次元の空間で先を読み、その中で計画する | Ha & Schmidhuber (2018)、Dreamer(第10章第7節) |
| 復元しない。価値と方策に必要な量だけ | 行動を決める | MuZero(第10章第7節)、後継者表象 |
| 符号化した表現。復元しない | 予測できないものを捨てて表現を学ぶ | JEPA(第4節) |
二行目に注意してほしい。Ha と Schmidhuber の構成でも Dreamer でも、先を読むのは潜在空間の中だが、その潜在を作る段では観測を復元している。 復元をいっさいしないのは三行目と四行目である—MuZero が学習するのは報酬・価値・方策を当てるのに必要な量だけだった(第10章第7節)。つまり、上の二つは観測の空間で誤差を測り、下の二つは測らない。 この一点が本章第4節の主題になる。同じ「世界モデル」という語が、この四つのどれを指すこともある。そして第4節で見るように、どれを選ぶかは「何を無視してよいか」の決定である。無視の仕方が違えば、内部に残るものも違う。
読者に問いたい。あなたが「脳は世界モデルを持つ」と聞いたとき、思い浮かべたのはこの表のどれだっただろうか。前章の自由エネルギー原理が主張していたのは、どれだろうか。
2. なぜモデルを持つのが合理的か
前章の自由エネルギー原理は「脳は世界の生成モデルを持つ」と主張した。作る側の話に入る前に、この主張の理屈を確かめておきたい。
なぜモデルを持つのが得なのか。持たない設計は、なぜ不利なのか。
これに答える古典的な定理がある。制御理論の側から出たもので、Conant と Ashby (1970) の良い調節器定理(good regulator theorem)と呼ばれる。標題がそのまま主張になっている—「系をうまく調節するものは、必ずその系のモデルである」。
以下では二つの定理を順に扱う。必要多様性の法則(Ashby 1956)と、良い調節器定理(Conant と Ashby 1970)である。前提が違うので、混ぜないように読んでほしい—前者は「同じ手なら外乱の違いがそのまま結果の違いになる」という単射の仮定を置き、後者は置かない。
設定と不等式 ── 必要多様性の法則
体温を保つ課題で考えよう。世界から来る変動が外乱 D(外気温や風)、こちらが打つのが調節の手 R(震える、汗をかく)、生じる体温が結果 Z である。三つを有限通りの値を取る確率変数とし、外乱と手から結果が決まる関数 \phi を置く。
Z=\phi(D,R)
結果のばらつき H(Z) を小さくしたい。ただし、ばらつきがゼロでも、いつも高熱ならよい制御ではない。エントロピーだけでは、結果の望ましさまで決まらないことを覚えておいてほしい。
ここでは、同じ手を打ったなら、違う外乱は違う結果を生む、と仮定する。つまり R を固定すると D\mapsto Z は単射である。すると R と Z から D を復元できるので、
\begin{aligned} H(D)&\le H(Z,R) &&\textsf{(外乱は結果と手の組から復元できる)}\\ &\le H(Z)+H(R) &&\textsf{(同時エントロピーを和で押さえる)} \end{aligned}
移項すれば、
H(Z)\ge H(D)-H(R)
これが必要多様性の法則(Ashby 1956)の中身である。多様な外乱に対して結果を一定に保つには、調節する側にもそれだけの多様性が要る。有限通りと断ったのは、この不等式を微分エントロピーへそのまま移せないからだ。連続量では、物差しを取り替えるだけで値が動く(第5章第3節)。
ここがポイント
同じ手なら違う外乱が違う結果を生む、という仮定のもとでは、世界の n 通りに応じ分ける手がなければ、結果を一つに保てない。
対応表としてのモデル
手の種類が多ければ、それでよいだろうか。サイコロで手を選んでも、外乱には対処できない。どの外乱にどの手を打つか、という対応が要る。
外乱が直接分かるとし、決定的な対応 R=\rho(D) を考えよう。\rho は外乱の値から手の値への写像で、第13章の群表現とは別物である。いまの単射の仮定のもとで H(Z)=0 を達成するなら、\rho も外乱を取り違えない対応でなければならない。違う外乱に同じ手を選ぶと、仮定によって結果が違ってしまうからである。この場合、「モデルを持つ」とは、世界の区別を手の区別へ写す対応表を持つことになる。
ここまでの完全な制御の例と、Conant と Ashby (1970) の定理は、分けておこう。原論文は先ほどの単射の仮定を置かず、結果のエントロピーを最小にする調節器を扱う。そして、そのうち最も単純なものは、系の状態から調節器の状態への決定的な写像になっている、と示す。最適な調節器がすべてその形というのではなく、そうでないものは不必要に複雑だという結論である。
この一般の場合には、系の状態を一対一に写す必要はない。同じ手でよい状態はまとめられる。原論文は「同型」という語も使うが、定理が与える写像は一対一とは限らない。用語と証明の詳しい関係は、発展編C.6 調節器の定理の条件を分けるで確かめよう。
第12章の測定、第13章の群準同型、そして第18章の表象の議論にも、関係を保って写すという形が現れる。ただし、何の関係を保つかは違う。ここで保つのは、調節のために区別すべき状態を区別することである。「準同型である」だけでは足りず、何を保つのかを指定する必要がある。
この定理は何を保証しないのか
魅力的な定理だが、証明できたことを大きく取りすぎてはいけない。教科書として、射程を明示しておきたい。第一に、ここでの「モデル」は対応表である。シミュレータではない。頭の中で未来を走らせる必要はまったくない。反射でも、固定された回路でも、条件さえ満たせばこの定理の意味で「モデル」である。前章の自由エネルギー原理が主張する生成モデル—確率分布を持ち、サンプルを生成できるもの—は、これよりはるかに強い。同じ「モデル」という語で二つを繋いでしまうと、証明されたことが水増しされる。
第二に、取り出せる形で持っている必要がない。 モデルは制御則の中に溶けていてよい。第18章第5節で見るポルドラックの脱結合可能性—刺激がなくても表現として働くこと—は、この定理が要求するものよりずっと強い条件である。
第三に、外乱が観測できることが前提になっている。R を D の関数にせよと言われても、D が見えなければ従えない。見えないものについては、感覚から推定するほかない—そこで初めて、前章の推論の話が要る。
第四に、これは最適な調節器についての言明である。生物が最適だという保証はどこにもない。
予測はどこで要るのか
もう一点、足しておきたい。ここまでの議論に時間が出てきていないことに気づいただろうか。
現実の制御には遅れがある。感覚が届くまでに時間がかかり、筋が動くまでにも時間がかかる。遅れがあるなら、いま届いた信号に応じるだけでは間に合わない。これから来るものに応じなければならない。
ここで対応表は、未来を当てる装置に格上げされる。前章第5節のアロスタシスがまさにそれだった—立ち上がる前に血圧を上げておく。第7節で見る小脳の順モデルも、同じ理由から要求される。感覚フィードバックは遅すぎるので、予測なしに素早い運動は制御できない。
遅れが、予測するモデルを合理的にする。 良い調節器定理は対応表を要求するだけだが、そこに時間を入れると、対応表は世界の先を読む装置になる。次節から、その装置を実際に作る話に入ろう。
3. 時系列に伸ばすと、予測符号化が出てくる
まず、第10章では触れなかった学習の話から入ろう。世界モデルは変分推論で学習できる。第14章の下界を、時間方向に伸ばすだけである。
伸ばし方を決めておく。時刻 t の観測を x_t \in \mathbb{R}^{d_x}、潜在状態を z_t \in \mathbb{R}^{d_z}、一つ前の時刻に選んだ行動を a_{t-1} と書く(d_x が観測の成分数、d_z が潜在状態の成分数である)。生成の側は第10章第7節の分解—初期分布・遷移モデル・観測モデル—を使う。近似の側は、各時刻の状態をそこまでの観測から推論する形 q(z_t \mid x_{\le t}) を取り、それを時刻について掛け合わせて状態列の近似分布とする(x_{\le t} は時刻 t までの観測をまとめた記号である。行動列は与えられたものとして、条件づけは省略する)。第14章第3節と同じ台・可積分の条件も引き継ぐ。時系列に伸ばした下界を \mathcal{L} と書く(第8章で損失に使った \mathcal{L} とは別物である)。
\mathcal{L} = \sum_t \Big\{ \underbrace{\mathbb{E}_q\big[\log p(x_t\mid z_t)\big]}_{\textsf{再構成}} \;-\; \underbrace{\mathbb{E}_{q(z_{t-1}\mid x_{\le t-1})}\Big[\mathrm{KL}\big(q(z_t\mid x_{\le t}) \,\|\, p(z_t\mid z_{t-1},a_{t-1})\big)\Big]}_{\textsf{予測とのずれ}} \Big\}
KL の外側にもう一段の期待値が要ることに注意してほしい。予測分布 p(z_t\mid z_{t-1},a_{t-1}) は前の時刻の状態に依存するので、その z_{t-1} についても平均を取らねばならない。なお t=1 の項では、遷移モデルの代わりに初期分布 p(z_1) を使う。
KL 項を読んでほしい。「いま観測から推論した状態」と「前の時刻から予測した状態」のずれである。
これは前章第1節の予測符号化と、同じ形をしている。一つ条件を付けておくと、KL がそのまま「予測誤差の二乗」になるのは、両方がガウス分布で共分散が固定されている場合である。そのとき、平均に依存する部分は「推論した平均と予測した平均の差」を二乗した量になるが、各方向を同じ重さで足すのではなく、予測分布の共分散の逆行列で重みが付く—予測の不確かさが小さい方向ほど、同じずれを重く数えるのである。平均によらない定数を除けば、平均について KL を小さくすることは、この重み付きの予測誤差を小さくすることに等しい。ここが前章第1節の予測符号化との接続である。一般の KL は「動力学の事前分布との食い違い」であって、二乗誤差とは限らない(分散も動けば、平均のずれ以外の項が残る)。第14章の下界を時系列に伸ばすと、予測誤差の最小化が自動的に出てくる。世界モデルの学習と予測符号化は、別々に提案されたが同じ式だった—本書で何度も見てきた合流が、ここでも起きている。
4. どの空間で予測するのか ── 本書の中心にある問い
さて、ここからが本章の核心である。上の ELBO には再構成項があった。画像を復元して、元の画像と比べる。だがこれは本当に良い設計だろうか。
考えてみてほしい。窓の外の木の葉は風で揺れている。その揺れ方を予測することに、意味はあるだろうか。ピクセル空間で誤差を測る限り、モデルは葉の一枚一枚を予測しようと労力を注ぐ。本質的でない細部が、損失の大半を占めてしまう。
LeCun (2022) の提案は、予測する場所を変えることだった。画像を復元するのではなく、符号化した表現の空間で予測する。JEPA(Joint-Embedding Predictive Architecture)と呼ばれる考え方である。画像の画素値を並べたものを x_{t+1} \in \mathbb{R}^{d_x}、その予測を \hat{x}_{t+1} とし、符号化する写像を f: \mathbb{R}^{d_x} \to \mathbb{R}^{d_h}(画像を d_h 個の特徴にまとめる)、表現 f(x_{t+1}) の予測を \hat{h}_{t+1} \in \mathbb{R}^{d_h} と書く。ハットは予測値の印である。比べたいのは、画素値どうしの差か、特徴どうしの差か—という違いになる。
\text{ピクセル空間: } \ \big\|x_{t+1} - \hat{x}_{t+1}\big\|^2 \qquad\text{対}\qquad \text{表現空間: } \ \big\|f(x_{t+1}) - \hat{h}_{t+1}\big\|^2
予測できないものは、符号化の段階で捨ててしまえばよい—これが JEPA の発想である。
だが、ここに落とし穴がある。f を学習で決めてよいなら、どの画像にも同じゼロベクトルを返す f \equiv 0 が最強の解になってしまう。予測側もいつも \hat{h}_{t+1} = 0 を返せば、二つの項は一致する。何も符号化しなければ、予測は完璧に当たる。誤差はゼロである。これを表現の崩壊(collapse)と呼ぶ。第11章第7節で扱った「表現の次元」が、ここでゼロに潰れる。
二つの選び方を並べると 図 1 のようになる。
だから JEPA 系の手法は、崩壊を防ぐ仕掛けを必ず抱えている。予測する側と、当てるべき表現を作る側(目標側)で構成を変える非対称なネットワーク、過去の重みと新しい重みを混ぜて目標側をゆっくり更新する指数移動平均、違う入力の表現が同じ値に集まりすぎないよう損失に条件を足す正則化—といったものである。これらは本質的な解決ではなく、当て木である。どう防ぐのが正しいのかは、まだ分かっていない。
それでも、表現空間で予測するという選択そのものについては、理論的な裏づけが出てきている。Van Assel ら (2025) は単純化した設定で両者を解いて比べ、表現空間で予測する側が要求する条件のほうが弱いことを示した。とくに、課題に無関係な特徴が大きな振幅を持っているときに有利になる。窓の外で揺れる葉の話が、そのまま条件として現れているわけである。
どんな場合でも有利なのではなく、条件つきで有利である—この形の結果が積み上がることが、設計を経験則から原理に変えていく道だろう。ただし注意してほしい。この解析はどちらの空間で予測するかを比べたもので、崩壊をどう防ぐかには答えていない。 当て木は当て木のまま残っている。
ここがポイント
「どの空間で予測誤差を測るか」は、第12章の測定の問題そのものである。
ピクセル空間の二乗誤差は、「二つの画像がどれだけ似ているか」を答えなしに決めてしまっている。それは第12章第9節で相関距離について問うたのと、まったく同じ構造の問いだ—距離を選ぶことは、何を無視するかを選ぶことである。
表現空間で測れば、何を無視するかを学習で決められる。だが決めさせすぎれば、何も残らない。世界モデルの設計は、この綱引きの上に立っている。
5. 動画が作れれば、世界を理解したことになるのか
近年、驚くほど自然な動画を生成するモデルが現れた。物が落ち、水が流れ、影が動く。開発者たちはこれを世界シミュレータと呼んでいる。
では、これらは世界モデルだろうか。
慎重に区別したい。「もっともらしい動画を出力できること」と「世界の法則を内部に持っていること」は、同じではない。前者は後者の証拠になりうるが、証明にはならない。
判定の手がかりを四つ挙げておく。第一に、介入への応答。訓練分布にない介入を加えたとき、法則に従った結果を返すか。「この物体だけ質量を10倍にしたら」に答えられるモデルは、法則を持っていると言いやすい。
第二に、長期の一貫性。画面外に出た物体が、戻ってきたときに同じ物体であり続けるか。物体の永続性を、モデルは持っているか。
第三に、保たれるべき量が保たれるか。物理の法則は、たいてい何かの保存則を伴う。エネルギー、運動量、質量。法則を持っているなら、それらは勝手に増えたり減ったりしないはずである。 そして都合のよいことに、この検査には正解が要らない—保存量は、モデルの出力だけを見れば計算できる。次節の「手を動かす」で、実際にこれをやってみる。
第四に、行動に使えるか。第1節で見たように、世界モデルの本来の用途は計画である。生成した動画の中で計画を立て、実世界で成功するか。これがいちばん厳しい検査だろう。
四つとも、「世界を理解している」という主張を「何を測れば否定できるか」の形に翻訳する作業である。そして四つの並べ方には意味がある—下へ行くほど厳しい検査になる。そのなかで保存量の検査が特別なのは、測るのが安いのに、一発で否定できるからである。
6. 世界モデルか、直接当てはめか
そして本節を、第9章に置いてきた宿題—Direct Fit(第9章第8節)が投げかけた問い—に接続して閉じたい。世界モデルという考え方は、一つの立場を前提にしている。世界には圧縮可能な法則があり、賢い系はそれを内部に取り込む、という立場である。物理法則を学べば、見たことのない状況にも外挿できる。
Direct Fit は、簡潔な法則の発見を汎化の前提にすることを疑う(第9章第8節)。Hasson らの主張はこうだった—膨大なパラメータでデータに直接適合し、密に覆われた範囲で内挿することで、未知の例にも対応できるのではないか。外挿しているように見えるのは、訓練データが思ったより近くにあるからだ、と。ただし、こうして学んだネットワークが環境の構造を内部に持つ可能性まで否定したわけではない。「世界モデルを持つ」ことと、「人間に読める簡潔な法則を持つ」ことは区別したい。
二つの立場は、こう対立する。
| 世界モデルの立場 | Direct Fit の立場 | |
|---|---|---|
| 内部にあるもの | 圧縮された法則 | 密なサンプルと内挿 |
| 未知への対応 | 法則からの外挿 | 近傍からの内挿 |
| 汎化の説明で重視するもの | 環境の構造を捉えた内部モデル | データへの直接的な適合と被覆 |
| 汎化の説明 | 構造を捉えたから | 空間を覆ったから |
そして、切り分けは難しい。世界モデルが「法則を学んだ」ように見えるとき、それが本当に法則なのか、単に訓練空間が広かっただけなのかを、どう区別するのか。第9章第9節で開いたこの問いに、本書はまだ答えを持っていない。
ただし、問いを鋭くすることはできる。前節に挙げた四つの判定—介入への応答、長期の一貫性、保存量、計画への利用—は、まさにこの区別を狙った検査である。内挿では通れないが、法則を持っていれば通れる課題を設計する。それが、この論争を実験に落とす道筋になる。なお第18章第5節で扱う「そもそも表象は要るのか」という論争は、この対立が哲学の語彙で現れたものである。直接当てはめの側に立つ論者は、表象を要らないと論じる側の論拠にもなっている。
7. 脳の側の世界モデル
作る側を四節にわたって検討してきた。脳に戻ろう。
実物の候補は、第10章第7節で並べてある。迷路のラットに地図を要求した認知地図(Tolman 1948)、海馬の場所細胞(O’Keefe & Dostrovsky 1971)と嗅内皮質のグリッド細胞(Hafting et al. 2005)、そして運動の結果を予測する小脳の順モデル(Wolpert ら 1995、Kawato 1999)である。それらが一つの「世界モデル」なのかは分からない、という留保もそこで述べた。
ここでは繰り返さない。本節では、本章で立てた二つの問いを脳に向けて投げ返す。地図は何の地図なのか。そして脳はどの空間で予測しているのか。
地図は空間の地図ではない
場所細胞とグリッド細胞は、長く「空間の地図」として理解されてきた。だが近年、この見方は広げられている。
ヒトの fMRI で、鳥の首の長さと脚の長さという二つの軸が張る概念の空間を移動させる課題を行うと、嗅内皮質や、前頭前皮質の内側面の下部にあたる腹内側前頭前皮質に六回対称の変調(概念空間を進む向きが60度変わるごとに繰り返す活動の強弱)が現れる(Constantinescu, O’Reilly & Behrens 2016)。注意してほしい—fMRI でグリッド細胞そのものが見えているわけではない。 見えているのは、グリッド細胞があればこう出るはずだという間接的な痕跡である(第6章のコラムを思い出してほしい)。グリッド細胞の符号が、物理的な空間ではない空間に対して働いているように見える、ということである。
こうした知見を受けて、認知地図とは何なのかを問い直す議論が出てきた(Behrens ら 2018)。地図が写しているのは空間そのものではなく、関係の構造ではないか、という見立てである。
この定式化に、本書の道具がそのまま効く。 関係構造を保って写す—第12章第3節の準同型である。前節までの言葉で言えば、世界モデルが持っているのは世界の見た目ではなく、世界の関係の写しだということになる。
さらに踏み込んだモデルもある。海馬とその周辺の関連領域を合わせた海馬体の働きを、構造と内容を分けて持つ装置として定式化する提案である(Whittington ら 2020)。構造の側—「隣にある」「一つ進む」といった関係のきまり—は環境をまたいで共有され、内容の側—そこに何があるか—だけが環境ごとに入れ替わる。だから新しい部屋に入っても、関係のきまりを持ち越して素早く地図を作れる。
第13章を通った読者には、これが何と同じ形か見えるはずである。不変部分と可変部分の分離である。 第13章第10節で構成性として扱い、第18章第4節ではミリカンが表象一般の要件として述べることになる、あの構図がここに現れている。
脳はどの空間で予測しているのか
そして第4節の問いである。予測誤差をどの空間で測るのか—これを脳に問うと、どうなるか。
前章第1節の予測符号化を思い出してほしい。あの定式化が要求していたのは、各層が下の層の活動を予測することだった。いちばん下まで降りれば、感覚入力そのものの予測である。つまり予測符号化は、素性としては再構成の側に立っている。小脳の順モデルも同様で、予測されるのは感覚の結果である。
ただし、ここは丁寧に言わねばならない。予測符号化は階層的だから、上の層が予測しているのは下の層の活動であって、生の入力ではない。下の層の活動それ自体が学習された表現なのだから、中間の層に関しては「表現空間で予測している」とも読める。ピクセルに近いところで誤差を測っているのは、いちばん下の層についてだけである。
この違いが、第4節の落とし穴と関係する。 JEPA では符号化 f を学習で決めてよいので、予測の的そのものが動かせる。だから f\equiv 0 に潰れる余地があった。予測符号化では、いちばん下の層が感覚入力に釘付けされている。的が動かないので、的が潰れることはない。
ただし、底が固定されていれば安心というわけではない。 第14章第6節で見た後方崩壊を思い出してほしい。VAE にも再構成項があり、的は入力に固定されている。それでも、復号側が潜在に頼らずに入力を説明できてしまえば、符号化側は潜在を放り出すのが得になる。
つまり、区別すべきものが二つある。的が潰れることは、的を固定すれば防げる。だが途中の表現が実質使われなくなることは、それでは防げない。予測符号化について言えるのは前者までである—と読むのが正確だろう。
いっぽう第4節で見た JEPA の主張は、その逆だった。予測できないものは符号化の段階で捨ててしまえ、と。
では脳はどちらなのか。この問いに、いま答えはない。 そして厄介なのは、答えがないことよりも、どう測れば答えられるのかがはっきりしないことである。
考えてみてほしい。「脳が表現空間で予測している」という主張を確かめるには、その表現空間をわれわれの側で同定しなければならない。だが表現空間の同定は、まさに第11章から第13章で見たとおり、何を許すかを先に決めないと確定しない作業である。測りたい対象の定義が、測る道具の選択に依存している。これは本書が繰り返してきた構造である。第12章で「距離を選ぶことは何を無視するかを選ぶことだ」と述べた。予測の空間を問うことは、脳が何を無視しているかを問うことであり、そのためにはわれわれの側が何を無視するかを先に決めねばならない。
分かっていないこと
第10章で述べた三つの留保に、本節から二つを足しておきたい。第一に、予測の空間を同定する方法がない。 いま述べたとおりである。脳活動から潜在表現を推定して「この空間で予測している」と言えたとしても、その推定はわれわれが選んだ計量に依存している。第12章第10節の留保—読み出せることは使われていることを意味しない—が、そのまま当てはまる。
第二に、後継者表象の位置づけが定まらない。 第10章で触れたとおり、場所細胞の予測的な性質は後継者表象として読める(Stachenfeld ら 2017)。だが後継者表象は方策に依存する—どう動くつもりかによって、表現そのものが変わる。世界のモデルというより、その方策のもとでの世界の見え方である。「世界のモデル」と呼ぶには、行動から独立であってほしい気がするだろうか。だが本章第1節の表を思い出してほしい。役に立つ分だけ持つという選択肢は、そこに正当な一項目として並んでいた。何を世界モデルと呼ぶかは、まだ決まっていないのである。
8. なぜ収束が期待できるのか ── 反変原理
世界モデルの中身は見てきた。では脳とAIの表現は似てくるのか。仮説を見る前に、なぜ収束が期待できるのかという理屈を押さえておきたい。もっとも見通しのよい議論が、Cao と Yamins (2024) の反変原理(contravariance principle)である。哲学者と神経科学者の共著から出てきた考え方だ。
主張はひとことで言える。
易しい課題は解き方がいくらでもある。難しい課題は、解き方が絞られる。
例で考えよう。「一桁の足し算をせよ」なら、暗算でも、そろばんでも、電卓でもよい。実装は千差万別で、どれも正解する。課題が解を制約しない。
ところが「重い荷物を積んで何百キロも空を飛べ」となると、話が変わる。作れる仕組みはぐっと減る。どんな設計をしても、結局は空気力学の同じ制約に縛られる。だから飛行機もワシもトンボも、翼を持ち、流線型になる。
視覚も同じ構造をしている。「丸と四角を見分けよ」程度なら、どんな実装でも解ける。だが「雑然とした自然画像から、光の当たり方も向きも遮蔽も変わるなかで、瞬時に物体を見分けよ」となれば、解ける仕組みはそう多くない。
形式的に言えることは、ここまでである。難しい課題 A の解は易しい課題 B も解く、と定めれば、解の集合について S_A \subseteq S_B が成り立つ。包含関係が逆向きになるという、それだけの主張だ。なお彼ら自身は、この原理を説明としてだけでなく処方箋としても出している—できるだけ難しい課題で最適化せよ、モデルと対象で使える資源を揃えよ、と。だから以下の弱点は、彼らが気づいていない穴ではなく、彼ら自身が認めている難所である。そこから「脳とAIの内部が実際に似た形に収束する」を導くには、両者が使える資源や構造の制約まで似ている必要がある。そこは経験的に確かめるべきことで、原理から出てくるものではない。
だとすれば—脳もこの難題を解いてきた。ネットワークもたまたま同じ難題を解いた。両者が同程度に難しい課題を同程度にうまく解いているなら、内部の仕組みは似た形に追い込まれる。似せたからではなく、課題が似た解を強制したからである。
生物学には格好の対応物がある。収束進化だ。サメは魚類、イルカは哺乳類で系統は遠く離れているのに、「速く泳ぐ」という同じ制約のもとで、そっくりな流線型に行き着いた。
この原理には、もう一つの役目がある。 第1章第2節で置いた 3M 基準—モデルの変数が機構の部品に、依存関係が因果に対応せよ—を思い出してほしい。深層ネットワークについては、この基準を素朴に当てはめても、機構モデルとしての説明力がどこまであるのかが言えなかった。
Cao と Yamins はここを緩める。部品の一対一対応をそのまま要求する代わりに、両者を情報を落とした共通の抽象水準へ写し、その水準で対応が付き、しかも予測に使えることを求める枠組みである(3M++ と呼ばれる)。ユニットとニューロンが一対一でなくても、粗くした水準で変換の型が対応しているなら、それは説明の一種だ、という主張になる。
なお、この 3M++ と、先に見た反変原理は別の話である。前者は「どういう対応が付けば説明と認めるか」という基準、後者は「なぜ似た解に落ちるのか」という理屈だ。混ぜて「同じ課題を高い精度で解けば説明になる」と読まないでほしい—3M++ はそこまで緩くない。
もっとも、緩めれば緩めるほど、代償がある。 条件を緩くしすぎれば、残るのは「よく当たる記述」だけで、機構の説明という看板を下ろすことになりかねない。どこまで緩めてよいかは決着していない(神谷 2026)。
「反変」とは何が反変なのか ── 三つ目の用法
ここで用語に注意を促しておきたい。「共変」ないし「反変」という語が出てくるのは、これで三度目である。そして三つとも別物だ(群作用の文脈では「共変」しか使わない)。
| 出てくる場所 | 何の話か | 何が「共変/反変」なのか |
|---|---|---|
| 第13章第4節 | 群作用 | 出力が入力と同じように動くか(f(g\cdot x)=g\cdot f(x)) |
| 第13章第5節 | テンソル解析 | 基底変換 A に対し、成分が A で変わるか A^{-1} で変わるか |
| 本節 | 課題と機構の対応 | 課題を難しくすると、許される機構の集合が縮む |
本節の「反変」は、包含関係が逆転することを指している。課題の集合を大きく・厳しくしていくと、それを満たす機構の集合は小さくなる。一方が増えれば他方が減る—この向きの逆転が、数学のさまざまな場面で「反変」と呼ばれる関係と同じ形をしている。
なお第10節では圏論の関手という語を使う。圏論では射の向きを保つものを共変関手、逆にするものを反変関手と呼ぶ—これはさらに別の用法である。本書ではこの意味で「共変」「反変」を使うことはない。
用語が同じでも、指しているものが違う。これは第12章から繰り返してきた注意—言葉の一致を構造の一致と取り違えない—の、本書自身への適用でもある。
ここがポイント
反変原理は、「AIは脳のコピーだ」という発想をひっくり返す。脳とAIが似ているとしたら、それは互いを真似たからではなく、同じ手ごわい現実を相手にしたからだ、という説明である。
ただし、これは「なぜ似うるか」の説明であって、「実際に似ている」ことの証拠ではない。二つを混同してはいけない。
反変原理はどこまで検証できるか
教科書として、弱点も書いておく。
前件をどう測るのか。反変原理は「課題が十分に難しければ」という条件つきの主張である。では、課題の難しさをどう測るのか。尺度がなければ、収束が見られたときは「課題が難しかった」、見られなかったときは「まだ難しくなかった」と、どちらにも言えてしまう。
前章第7節で自由エネルギー原理に向けたのと、同じ形の弱点である。そして「解が絞られる」の中身も要検討である。絞られるのは何の水準だろうか。入出力の振る舞いか、表現の幾何か、それとも回路の実装か。第1章第2節のマーの三水準で言えば、どの水準で収束すると言っているのか。反変原理はここを明示しない限り、検証可能な主張にならない。
Cao と Yamins 自身も、モデルが説明として成り立つ条件を精密にする作業を並行して進めている。「似ている」と言うために何を要求すべきか—その問いは、本章第10節でわれわれが四つの要件として整理するものと、地続きである。
9. 表現は収束するのか ── 「プラトン」と「アリストテレス」
前節は「なぜ似うるか」の理屈だった。ここからは、実際に収束が起きていると主張する仮説と、その検証を見る。舞台はまず AI どうしの比較である。
「プラトン」表現仮説
Huh、Cheung、Wang、Isola (2024) の主張は、大胆である。
異なるニューラルネットワークの表現は、収束しつつある。
証拠として挙げられるのは、次のような観察である。
- 異なるアーキテクチャ、異なる訓練データで学習したモデルどうしの表現が、時代を追って似てきている
- モダリティを越えてさえ似てくる。画像モデルと言語モデルが、大きくなるにつれてデータ点間の距離を似た仕方で測るようになる
そして、この収束が向かう先を「プラトン」的表現(platonic representation)と呼ぶ。プラトンのイデア論になぞらえた命名である。異なるモデルは、それぞれ不完全な影を見ているが、その背後には共通の「実在の統計モデル」がある—という見立てだ。
なぜ収束するのか。説明は選択圧による。モデルが大きくなり、タスクが多様になるほど、すべてのタスクを同時に解ける表現の候補は狭まっていく。だから異なる出発点から始めても、同じところへ収束する。
魅力的な主張である。もし正しければ、脳とAIの表現が似ることにも説明がつく—どちらも同じ実在を捉えようとしているのだから。
「アリストテレス」的な反論
Gröger、Wen、Brbić (2026) は、この主張を検証し直した。そして根本的な問題を指摘する。
表現の類似度を測る既存の指標は、モデルの規模に交絡されている。具体的には、モデルの規模を大きくするだけで、内容に関係なく類似度スコアが上がってしまうことがある。機序は一つではない。幅を増やすと次元が増えるので、指標によっては偶然の一致水準そのものが上がる。深さを増やすと、比べる層の組み合わせが増えるので、その中の最大値を取れば高く出やすくなる(多重比較の問題である)。「大きなモデルどうしは似ている」という結果が、単に大きいことの副産物かもしれない。
解決策は、順列に基づく零仮説の校正である。表現の対応関係だけをランダムに壊した零モデルを作り、そこからの逸脱として類似度を測り直す。統計的な保証を持つ校正済みスコアが得られる。そして校正の結果は、明確だった。
- 大域的なスペクトル的類似度(表現空間全体の構造の一致)は、校正後にはほとんど消える
- 局所的な近傍関係の一致(どの点とどの点が近いか)は、モダリティを越えても有意に残る
- ただし局所的な距離の一致は残らない。残るのは近傍の順序関係である
この結果から、Gröger らは対案を提出する。「アリストテレス」表現仮説である。
表現は、共有された局所的な近傍関係へ収束している。
プラトンが「個物を超えた普遍的な形相(イデア)」を措定したのに対し、アリストテレスは「形相は個物に内在する」と考えた。この命名は、対立の性格をうまく捉えている。大域的な普遍構造か、局所的な関係の束か。
ただし、この二つの名前は分かりやすさのための符牒であって、哲学史的に正確なラベルではない。プラトンもアリストテレスも表現の収束を論じたわけではないし、両者の形而上学は、ここでいう対立よりはるかに込み入っている。以下、名前を鉤括弧に入れて「プラトン」「アリストテレス」と書くのは、そのためである。
これは測定の問題である
さて、ここで第12章を通った読者に問いたい。この対立の争点は、どこにあるのだろうか。
二つの陣営は、同じデータを見て違う結論を出している。もちろん「大域的な構造が一致しているか」と「局所的な近傍関係が一致しているか」は、それ自体が別々の経験的な問いである。そのうえで、結論の分かれ目に大きく効いているのは何をどう測るかの選択のほうだ。
第12章第2節の枠組みを当ててみよう。
「プラトン」派が使っている指標は、どんな変換のもとで不変か。大域的なスペクトル的類似度(たとえばカーネル行列の一致)は、直交変換のもとで不変である。カーネル行列とは、第9章第4節のカーネルの値をデータ点の全組について並べた行列である。だがモデルの規模には依存してしまう。ここは注意して読んでほしい—規模を変えることは、同じ空間の中での座標の取り替え(許容変換)ではなく、空間の次元そのものを変える操作である。指標が意味を保つべき変換の外側で、スコアが動いてしまうわけだ。
「アリストテレス」派の校正は、何をしたのか。順列零仮説による校正とは、刺激の対応関係だけをランダムに壊し、「対応が無いときにどれだけの値が出るか」という基準の分布を作る操作である。こちらは「意味を保つ許容変換」ではなく、帰無の分布を作るためのランダム化である(そう使えるためには、並べ替えても分布が変わらないという条件が要る)。つまり「アリストテレス」派は、比べる基準を先に決めたことになる。
第12章でわれわれは、こう述べた—「許される変換のもとで不変な主張だけが、意味を持つ」。そして第13章では、許される変換のあつまりが群をなすことを見た。
「プラトン」と「アリストテレス」の対立は、まさにこの問題である。「表現が収束している」という主張の意味は、どんな変換のもとで比べるかを決めない限り、確定しない。
ここがポイント
「脳とAIの表現は似ているか」という問いは、どんな変換のもとで比べるかを決めないと、答えが決まらない。「プラトン」派と「アリストテレス」派の対立は、事実の対立というより測定の対立である(大域的な一致と局所的な一致は、それ自体が別々の経験的な問いではあるが)。第12章の測定理論と第13章の対称性が、ここで効いてくる。
どちらが正しいのか
現時点で決着はついていない。だが、この論争から取り出せる教訓はある。第一に、類似度指標には零仮説が要る。「相関が0.7だった」という数値だけでは何も言えない。何と比べて0.7なのか。ランダムな対応でも0.6が出るなら、0.7に意味はない。
第二に、局所と大域を区別すべきである。近傍関係が一致することと、空間全体の構造が一致することは、まったく違う主張である。前者だけなら「似た刺激を似ていると判断する」程度のことしか言っていない。
第三に、収束の説明としては、両者とも不十分かもしれない。局所近傍だけが一致するという事実は、「共通の実在を捉えている」よりも弱い説明でも足りる。たとえば、訓練データの統計的性質が共通なだけかもしれない—第9章の Direct Fit の議論を思い出してほしい。密なサンプリングの上での内挿であれば、データが同じなら似た内挿になるのは当然である。
10. 脳とAIの表現は一致するのか
前節は AI どうしの比較だった。そして第8節の反変原理は「なぜ似うるか」の説明にとどまる。ここでは「実際に似ているか」を、脳との比較として問う。本書で積み上げた道具を総動員する—第11章の RSA、第12章の測定の歪み、第13章の「何を許すか」、そして前節で精査した「収束している」という言葉の意味である。
何で測るべきか
これらを踏まえると、「脳とAIの表現が一致するか」を問うには、少なくとも次の四つを明示しなければならない。本書には「四つ」の組がほかにも出てくるので、呼び分けておく—第5節が世界モデルを試す四つの判定、ここが比較実験の四つの要件、第18章第6節が表現の主張を分解する四つの次元である。
第一に、測定装置の効果。脳側は fMRI や電極を通した観測である。その歪みを補正したうえで比べているか(第12章第9節)。
第二に、許される変換の群。直交変換まで許すのか、任意の可逆線形変換までか、あるいは順列だけか。群を決めなければ「一致」の意味が決まらない(第13章、第12章第2節)。
第三に、零仮説。その群のもとでランダムな対応がどれだけのスコアを出すか。それと比べてどうか(第9節)。
第四に、局所か大域か。近傍関係の一致なのか、空間全体の構造の一致なのか(第9節)。この四つを明示しない「一致」の主張は、解釈が定まらない。これが本書の、この問いに対する立場である。
相関では弱い理由
よく使われるのは「RDM の相関」である。だがこれは上の四つのうち、どれも明示していない。
相関が高いことは何を意味するのか。刺激の大まかなカテゴリ構造が共有されていれば、それだけで相関は高く出る。顔と椅子と車が別々のクラスタを作っていれば、詳細が全然違っても RDM は似る。だから「相関0.7」は出発点であって結論ではない。その0.7が、カテゴリ構造だけで説明できるのか、それ以上のものがあるのかを切り分ける必要がある。
対象の一致から、変換の保存へ
ここまでの測り方は、どれも刺激ごとか刺激集合の形を見ていた。第4〜6章のエンコーディングとデコーディングは「この画像に対して、脳とモデルが似た応答を出すか」を問う。第11章の RSA は「刺激どうしの距離の並びが似ているか」を問う。前者は対象ごとの一致、後者は集合の幾何である。だが、もう一段ある。
考えてみてほしい。二つの系が、同じ画像に似た符号を割り当てているとしよう。それでも、画像から画像へ「動く」やり方が食い違っていることはありうる。犬の写真から猫の写真へ移るとき、脳の中で起きる変化とモデルの中で起きる変化が、対応していない—そういう食い違いは、対象ごとの一致を見ているだけでは見えない。
問いを一段上げよう。二つの系は、同じ変換を保っているだろうか。
「動かしてから翻訳」と「翻訳してから動かす」
第13章第4節の可換図式を思い出そう。「動かしてから写す」と「写してから動かす」が一致することだった。神谷 (2026) は、この四角形を脳とモデルのあいだに張る比較法を提案している。
刺激の変化を r とし、それに対応する脳側の変換を F_B(r)、モデル側の変換を F_M(r) と書く。脳の活動パターンからモデルの特徴へ写すのが、第15章第10節の翻訳器 T である。脳側が d_B 次元、モデル側が d_M 次元なら、T:\mathbb{R}^{d_B}\to\mathbb{R}^{d_M} であり、次元が同じである必要はない。翻訳の向きは、因果の向きを意味しない。
求めたい条件は一行になる。
T\circ F_B(r)=F_M(r)\circ T
左辺は「脳の中で動かしてから翻訳する」、右辺は「翻訳してからモデルの中で動かす」。同じところに着けば、四角形は可換である。
\begin{array}{ccc} \text{脳の状態}&\xrightarrow{\ F_B(r)\ }&\text{変化後の脳の状態}\\ \scriptstyle T\downarrow&&\downarrow\scriptstyle T\\ \text{モデルの状態}&\xrightarrow{\ F_M(r)\ }&\text{変化後のモデルの状態} \end{array}
この性質を、本書では自然性(naturality)と呼ぶ。名は圏論の「自然変換」に由来するが、この手法がその厳密な数学的定義を満たすという主張ではない。借りているのは、二つの道すじを照合する発想である。
ここがポイント
同じ刺激への応答が似ていることに加え、刺激を変えたときの変化まで対応しているかを問う。一枚ずつの一致を、変化の構造の一致へ進めるのである。
何の変化を比べるか
ここで避けられない問いがある。変化 r を、誰が決めるのか。「明るくする」「位置をずらす」「生き物から非生物へ変える」を、脳とモデルの両方に同じ変化として与えるには、両者の外側に基準が要る。この研究は、画像の意味や見た目を数値で表した比較空間を使う。その空間のどの方向を調べるかで、問いを指定するのである。
実際の計算は、理想の四角形をそのまま測っているわけではない。比較空間での二つの刺激の差を、脳側とモデル側の活動の差へそれぞれ写し、脳側の差を翻訳したものとモデル側の差を比べる近似である。そのずれを、刺激の対応をランダムに壊した場合のずれと比較する。両方向の翻訳で得た比を平均したものが、自然性違反スコア(NVS)だ。偶然の水準を1とし、それより小さいほど、指定した変化がよく対応する。零仮説が要るという、先ほどの第三の要件がここで効く。
答えの分かる人工の例で考えよう。位置、大きさ、向き、色を持つ世界を作り、脳側の模型はそのすべてを保つとする。一方のモデルは位置だけ、もう一方は大きさ・向き・色だけを保つ。全体の類似度を一つの数にすると、何が失われたかが見えにくい。変化の軸ごとに比べれば、前者は位置の変化を、後者は物体の属性の変化を保つ、と分けて読める。
ヒトの視覚野と視覚 DNN を比べた実データでは、試した軸のなかでアニマシー、つまり生き物か非生物かの軸が最もよく保たれていた。第11章第2節で、刺激どうしの距離の表を分けていた軸である。別の測り方でもこの軸が現れた。ただし、意味に関わる軸なら何でも強かったわけではなく、物を握れるかといった使い方の軸では一致が弱かった。何が対応するかを分けることに、この比較の値打ちがある。
一致をどこまで読んでよいか
比較空間の選び方で、試せる変化も結果も変わる。この手法はまだ、少人数・一つのデータセット・限られたモデルで調べられた段階である。しかも翻訳器を通常の予測課題で学習させ、変化の対応は後から評価している。対応が弱いという結果には、翻訳器がうまく学べなかった可能性も残る。逆に、よく対応しても、脳とモデルが同じ仕組みで動いている証明にはならない。
それでも問いは具体的になる。「似ているか」から、「どの変化について似ているか」へ。あなたなら、次にどんな変化を実験で与えるだろうか。
では何が言えるのか
悲観的に聞こえたかもしれないので確認しておく。測定の困難があることは、比較が無意味だということではない。第12章第9節がその好例だった。「平均を引く操作は何をしているのか」を突き詰めた結果、測定由来の歪みを除く条件が明らかになり、改良版(平均除去のみのユークリッド距離)まで提案できた。仮定を掘ることは、道具を改良する道である。「何を比べているのか」を精密にしていけば、いま「似ている」と言われていることの中身が分解され、本当に共有されている構造が見えてくる—それが本書の渡したかった道具立てである。
確認問題
[確認]「世界モデル」という語が指しうる四つの立場を挙げ、それぞれが何を無視しているかを述べよ。(第1節・第4節)
[導出]良い調節器定理の不等式 H(Z) \ge H(D) - H(R) を導け。途中で用いた仮定を明示せよ。(第2節)
[確認]良い調節器定理が言う「モデル」と、自由エネルギー原理が言う「生成モデル」はどう違うか。前者が保証しないことを三つ挙げよ。(第2節・第16章第3節)
[導出]世界モデルの時系列 ELBO を書き、その KL 項が予測符号化と同じ形をしていることを示せ。KL の外側にもう一段の期待値が要る理由も述べよ。(第3節・第16章第1節)
[確認]表現空間で予測誤差を測る設計が表現の崩壊を招く理由を述べ、それを防ぐために使われている仕掛けを挙げよ。(第4節)
[考える]「脳は表現空間で予測している」という主張を検証するには何が必要か。本文が述べる困難—測りたい対象の定義が測る道具に依存する—を踏まえて答えよ。(第7節・第4節)
[考える]反変原理を反証するには何を測ればよいか。本文が指摘する弱点を踏まえて答えよ。(第8節・第16章第7節)
[考える]「プラトン」派と「アリストテレス」派の対立が「測定の対立」であると本文で述べた。その意味を、第12章第2節の枠組みを使って説明せよ。(第9節・第12章第2節)
参考文献
- Craik, K. J. W. (1943). The Nature of Explanation. Cambridge University Press. — 神経系が「外界と自分がとりうる行動の小規模な模型」を持つという発想の出どころ[1節]
- Schmidhuber, J. (1990). Making the World Differentiable: On Using Fully Recurrent Self-Supervised Neural Networks for Dynamic Reinforcement Learning and Planning in Non-Stationary Environments (Technical Report FKI-126-90). Institut für Informatik, Technische Universität München. — 世界モデルを「勾配を通すための微分可能な代理」と捉える見方[1節]。実装としての結実は第10章第7節の Ha & Schmidhuber (2018)
- Ashby, W. R. (1956). An Introduction to Cybernetics. Chapman & Hall. / Conant, R. C., & Ashby, W. R. (1970). Every good regulator of a system must be a model of that system. International Journal of Systems Science, 1(2), 89–97. https://doi.org/10.1080/00207727008920220 — 前者が必要多様性の法則の出どころ、後者が良い調節器定理の原典。要旨は「同型」と書くが、定理が与えるのは S から R への写像であることに注意(同型ではないこと)の含意は後者で確認してほしい[2節]
- LeCun, Y. (2022). A Path towards Autonomous Machine Intelligence, Version 0.9.2 (OpenReview 文書). OpenReview. — JEPA の提案。表現空間で予測するという設計思想[4節]
- Van Assel, H., Ibrahim, M., Biancalani, T., & Regev, A. (2025). Joint embedding vs reconstruction: provable benefits of latent space prediction for self-supervised learning. arXiv:2505.12477. — 潜在空間で予測するほうが有利になる条件[4節]
- Constantinescu, A. O., O’Reilly, J. X., & Behrens, T. E. J. (2016). Organizing conceptual knowledge in humans with a gridlike code. Science, 352(6292), 1464–1468. https://doi.org/10.1126/science.aaf0941 / Behrens, T. E. J., et al. (2018). What is a cognitive map? organizing knowledge for flexible behavior. Neuron, 100(2), 490–509. https://doi.org/10.1016/j.neuron.2018.10.002 — 前者が概念空間での格子状の符号、後者が認知地図を関係構造の写しとして読み直す総説[7節]
- Whittington, J. C. R., et al. (2020). The Tolman-Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation. Cell, 183(5), 1249–1263.e23. https://doi.org/10.1016/j.cell.2020.10.024 — 構造と内容を分けて持つモデル。第18章第4節でミリカンが言う不変部分と可変部分(もとは第13章第4節の不変・同変・共変の構図)にあたる[7節]
- Cao, R., & Yamins, D. (2024). Explanatory models in neuroscience, part 1 & 2. Cognitive Systems Research, 85, 101200. https://doi.org/10.1016/j.cogsys.2023.101200 — 反変原理の出典。3M を緩めるという提案として読む[8節]
- Huh, M., Cheung, B., Wang, T., & Isola, P. (2024). The platonic representation hypothesis. arXiv:2405.07987. https://doi.org/10.48550/arxiv.2405.07987 — 収束を主張する側[9節]
- Gröger, F., Wen, S., & Brbić, M. (2026). Revisiting the platonic representation hypothesis: an aristotelian view. arXiv:2602.14486. https://doi.org/10.48550/arxiv.2602.14486 — 零仮説で校正し直す側[9節]
- 神谷之康(2026)「脳とAI は似ているか — NeuroAI の挑戦—」『人工知能』41(2), 93–100. — NeuroAI の挑戦.『人工知能』41(2) — 3M++ とアラインメント研究の現状を一望する[8節・10節]。同じ著者の Kamitani, Y. (2026) Beyond object-level alignment: do brains and DNNs preserve the same transformations? arXiv:2605.06420 が第10節後半の出典で、アライメントを自然性(可換四角形)として問い直し、順列零仮説で正規化した NVS を定義する。発展途上の手法であることは論文自身が明記している[10節]