10 強化学習 ── 報酬を予測し、行動を選ぶ
学習を扱う一連の章の締めくくりである。
これまでの二つの学習は、性格が違っていた。第7章の教師なし学習は「データの分布を再現する」ことを目指し、第8章の教師あり学習は「正解との差を縮める」ことを目指した。
強化学習は、その中間にある。正解は与えられない。与えられるのは報酬—「良かった」「悪かった」というスカラー値だけである。しかも遅れて来る。将棋で負けたとき、どの手が悪かったのかは教えてもらえない。
この設定が、生物にとって自然であることは言うまでもない。動物は誰からも正解を教わらない。
そして本章には、本書のなかでも特別な瞬間がある。TD 誤差という、アルゴリズムの内部で定義された量が、ドーパミン細胞の発火として実際に観測された。理論が予測した信号が、そのままの形で脳に見つかったのである。数学と生物学が、これ以上ないほど直接に出会った例と言ってよい。
この章は短い。TD 誤差というたった一つの量が、アルゴリズムと神経活動の両方で主役を張る—その一点を見てもらえれば十分である。
第1〜2節が設定と道具、第3節が本章の核、第4節がアルゴリズムの分岐、第5節が神経科学との対応、第6〜7節が深層強化学習と世界モデルである。
第7節は本書の他章への結節点になっている。世界モデルは第3章の力学系・第14章の潜在変数モデルと同じ構造をしており、そこで残した問い—「予測誤差をどの空間で測るのか」—は第17章第4節で正面から扱う。
急ぐなら第3節と第5節でよい。
なお、強化学習は独立の教科書がいくつも書かれている分野である。本書は「本書の他の章とどうつながるか」に絞って扱う。体系的に学ぶなら Sutton と Barto の教科書を勧めたい。
1. 問題設定 ── 状態・行動・報酬
マルコフ決定過程
エージェントが環境の中にいる。各時刻で、
- 環境の状態 s_t を観測する
- 行動 a_t を選ぶ
- 報酬 r_t を受け取る
- 環境が次の状態 s_{t+1} に遷移する
この繰り返しである。環境は次の二つで規定される。
p(s_{t+1}\mid s_t, a_t) \quad\textsf{（遷移確率）}, \qquad r(s_t, a_t) \quad\textsf{（報酬関数）}
マルコフ性—次の状態が、現在の状態と行動だけで決まり、過去の履歴によらない—を仮定する。この設定をマルコフ決定過程（MDP）と呼ぶ。
方策と収益
エージェントの振る舞いは方策 \pi(a\mid s) で表される。状態を見て行動を選ぶ確率分布である。
目標は、将来にわたる報酬の合計を最大化することだ。
G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots = \sum_{k=0}^{\infty}\gamma^k r_{t+k}
これを収益（return）と呼ぶ。\gamma \in [0,1) が割引率である。
なぜ割り引くのか。三つの理由がある。
- 遠い将来は不確かなので、割り引くのが合理的
- 無限に続く場合でも、和が収束する（|r| \le r_{\max} なら |G| \le r_{\max}/(1-\gamma)）
- 生物にとっても現実的である。動物は目先の報酬を優先する（遅延割引）ことが行動実験で示されている
価値関数
状態 s から始めて方策 \pi に従ったときの、収益の期待値を状態価値関数と呼ぶ。
V^\pi(s) = \mathbb{E}_\pi\big[ G_t \mid s_t = s \big]
行動も指定したものが行動価値関数である。
Q^\pi(s,a) = \mathbb{E}_\pi\big[ G_t \mid s_t=s, a_t=a \big]
価値関数が分かれば、良い行動が選べる。各行動の Q を比べて、いちばん大きいものを選べばよい。
だから問題は「価値関数をどう推定するか」に帰着する。本章の残りは、ほぼこの一点をめぐる話である。
2. 必要な数学：ベルマン方程式
再帰的な構造
価値関数の定義を、一手先で分解してみよう。
\begin{aligned} V^\pi(s) &= \mathbb{E}\big[ r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots \mid s_t = s\big] \\ &= \mathbb{E}\big[ r_t + \gamma\big(r_{t+1} + \gamma r_{t+2}+\cdots\big) \mid s_t=s\big] &&\textsf{(} \gamma \textsf{ でくくった)}\\ &= \mathbb{E}\big[ r_t + \gamma\, G_{t+1} \mid s_t = s\big] &&\textsf{(括弧の中は } G_{t+1} \textsf{ そのもの)}\\ &= \mathbb{E}\big[ r_t + \gamma\, V^\pi(s_{t+1}) \mid s_t = s\big] &&\textsf{(期待値の入れ子を整理)} \end{aligned}
\boxed{\;V^\pi(s) = \mathbb{E}\big[ r + \gamma V^\pi(s') \big]\;}
これがベルマン方程式である。
読み方。「いまの状態の価値は、いま得られる報酬と、次の状態の価値の割引和に等しい。」
この式の威力は、無限の未来を一手先に畳み込んだ点にある。G_t の定義には無限級数が入っていたが、ベルマン方程式には次の状態の価値しか現れない。再帰的な構造が、問題を有限にした。
最適方策
最適な価値関数は、最適ベルマン方程式を満たす。
V^*(s) = \max_a\, \mathbb{E}\big[ r + \gamma V^*(s') \big]
期待値を取る前に \max が入る。「もっとも良い行動を選んだときの価値」である。
動的計画法
環境（遷移確率と報酬関数）が既知なら、この方程式を反復で解ける。
V_{k+1}(s) \leftarrow \max_a \sum_{s'} p(s'\mid s,a)\big[ r + \gamma V_k(s')\big]
縮小写像なので、必ず収束する。更新のたびに、真の V^* との差が \gamma 倍以下になるからだ。
だが、これは使えない。遷移確率 p(s'\mid s,a) を知らないからである。動物も、環境のモデルを最初から持ってはいない。
環境を知らずに価値を学ぶには、どうすればよいか。これが次節の主題である。
3. TD 学習 ── Rescorla–Wagner から TD 誤差へ
動物の条件づけから
歴史的な出発点は、心理学にある。
パブロフの条件づけ—ベルを鳴らしてから餌を与えることを繰り返すと、犬はベルの音だけで唾液を出すようになる。動物は予測を学習する。
Rescorla と Wagner は1972年、この学習を単純な式で書いた。刺激 i の連合強度を V_i とすると、
\Delta V_i = \alpha\Big( \underbrace{\lambda - \sum_j V_j}_{\textsf{予測誤差}} \Big)
\lambda が実際に得られた報酬、\sum_j V_j が予測である。予測が外れた分だけ学習する。
この式は多くの現象を説明した。とくにブロッキング—すでに報酬を予測する刺激があると、同時に呈示された新しい刺激は学習されない—は、この式の直接の帰結である。予測が当たっていれば誤差がゼロで、何も学習されない。
「驚いたときだけ学ぶ」という原理が、ここに定式化されている。
時間を入れる
Rescorla–Wagner 則には、大きな限界があった。時間がない。試行の中でいつ報酬が来るかを扱えない。
Sutton と Barto は、ここにベルマン方程式を持ち込んだ。
ベルマン方程式 V(s) = \mathbb{E}[r + \gamma V(s')] は、真の価値関数なら成り立つ等式である。推定 \hat{V} が正しくなければ、両辺がずれる。
そのずれを TD 誤差（temporal difference error）と呼ぶ。
\boxed{\;\delta_t = r_t + \gamma \hat{V}(s_{t+1}) - \hat{V}(s_t)\;}
そして、この誤差の分だけ推定を修正する。
\hat{V}(s_t) \leftarrow \hat{V}(s_t) + \alpha\, \delta_t
何が起きているのか
TD 誤差の読み方を、丁寧に確認しよう。
\delta_t = \underbrace{r_t + \gamma\hat{V}(s_{t+1})}_{\textsf{一手進んでから見た推定}} - \underbrace{\hat{V}(s_t)}_{\textsf{いまの推定}}
「一手進んでから振り返ったときの推定」と「進む前の推定」の差である。
- \delta > 0 — 思ったより良かった。\hat{V}(s_t) を上げる
- \delta < 0 — 思ったより悪かった。下げる
- \delta = 0 — 予測どおり。何もしない
Rescorla–Wagner との対応を見てほしい。\gamma = 0（次の状態の価値を無視）とすると、
\delta_t = r_t - \hat{V}(s_t)
Rescorla–Wagner 則そのものである。TD 学習は、条件づけの理論に「将来の価値」を加えた拡張だったわけだ。
なぜこれが賢いのか
TD 学習の巧妙さは、最終結果を待たずに学習できる点にある。
素朴な方法（モンテカルロ法）なら、エピソードが終わって収益 G_t が確定してから、\hat{V}(s_t) \leftarrow \hat V(s_t) + \alpha(G_t - \hat{V}(s_t)) と更新する。将棋なら、勝敗が決まるまで何も学べない。
TD 学習は違う。一手ごとに学習する。次の状態の推定値を「仮の正解」として使うからだ。
推定値を使って推定値を更新する—これをブートストラップと呼ぶ。循環しているようで危うく見えるが、報酬という「外からの錨」があるので、正しい値に収束する。
報酬予測が前に移動する
TD 学習の重要な帰結を一つ。学習が進むと、TD 誤差が時間的に前へ移動する。
ベル → 餌、という系列を学習する場面を考えよう。
学習の初期。ベルの価値はまだゼロ。餌が来たとき \delta > 0 となる（予期しない報酬）。
学習が進むと。餌の直前の状態の価値が上がる。すると餌が来ても \delta \approx 0 になる（予測どおり）。代わりにその一手前で \delta > 0 が立つ。
さらに進むと。それが順に前へ伝播し、最終的にはベルが鳴った瞬間に \delta > 0 が立つ。餌の時点では何も起きない。
この「誤差信号の前方移動」が、次の第5節で決定的な意味を持つ。
適格度トレース
ただし、いま見た前方移動には弱点がある。一回の試行で価値が伝わるのは一段だけだ。手がかりと報酬のあいだが十段離れていれば、十回の試行が要る。動物はもっと速く学ぶ。
ではどうするか。報酬が来た時点で「さっき通った状態」をまとめて更新してしまえばよい。そのために、状態ごとに「どれだけ最近訪れたか」を覚える変数を持たせる。これが適格度トレース（eligibility trace）である。
\begin{aligned} e_t(s_t) &= \gamma\lambda\, e_{t-1}(s_t) + 1 && \textsf{(いま訪れた状態には 1 を足す)}\\ e_t(s) &= \gamma\lambda\, e_{t-1}(s) && \textsf{(それ以外は減衰するだけ)} \end{aligned}
訪れた瞬間に立ち上がり、あとは \gamma\lambda 倍ずつ減っていく。\lambda\in[0,1] が減衰の速さを決める。
そして更新は、TD 誤差をトレースの重みで配る—すべての状態に対してである。
\hat V(s) \leftarrow \hat V(s) + \alpha\,\delta_t\, e_t(s)
何が起きたかを言おう。「どの状態の功績なのか」という問いが、「どれだけ最近だったか」という問いに置き換わった。報酬の直前に通った状態は大きく、ずっと前の状態は小さく更新される。功績の配分を、記憶の新しさで代用したわけである。
両端を確かめておくとよい。\lambda=0 なら直前の一段だけが更新される—いま見た TD 学習そのものだ。\lambda=1 ならエピソード全体に配られ、モンテカルロ法に近づく。つまりトレースは、この二つをつなぐ連続した中間を与える。これを TD(λ) と呼ぶ。
これが強化学習の要所である理由は、問題の形にある。報酬は遅れて来るのに、学習は個々の状態（脳ならば個々のシナプス）で起きなければならない。時間のずれをどう埋めるか—これを功績分配問題（credit assignment problem）と呼び、トレースはその最も素直な解答である。第8章のバックプロパゲーションが空間方向の功績分配だったのに対し、こちらは時間方向だと見ると、両者の関係が見えてくる。
脳の側にも対応物がある。局所の活動が数秒だけ痕跡を残し、そこに大域的な報酬信号が重なったときにだけシナプスの変化が確定する—そういう仕組みが実際に見つかっている。第5節でドーパミンを見たあと、第8章のコラム「皮質の可塑性」で具体的に触れる。
ところで、トレースを持たせると更新は毎ステップで全状態に及ぶ。計算量の面では、何を代償に払っているだろうか。
ここがポイント
TD 誤差 \delta_t = r_t + \gamma\hat V(s_{t+1}) - \hat V(s_t) は、ベルマン方程式のずれである。\gamma=0 とすれば Rescorla–Wagner 則になる。学習が進むと、誤差信号は報酬から手がかり刺激へと前方移動する。適格度トレースを併せて使えば、その伝播を一回の試行で済ませられる。
4. Q 学習と方策勾配
価値を推定できたとして、行動をどう選ぶか。二つの流儀がある。
価値ベース：Q 学習
行動価値 Q(s,a) を学習し、価値が最大の行動を選ぶ。
Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha\Big[ r_t + \gamma\max_{a'} Q(s_{t+1},a') - Q(s_t,a_t)\Big]
TD 誤差の \hat V(s_{t+1}) が \max_{a'}Q(s_{t+1},a') に置き換わっている。
Q 学習の重要な性質は off-policy であることだ。更新式に \max が入っているので、実際にどんな行動を取ったかによらず、最適方策の価値を学習できる。探索のためにランダムな行動を混ぜても、学習する対象は最適方策である。
探索と活用
ここで探索と活用のジレンマが生じる。
- 活用（exploitation）— いま最善と思う行動を取る。目先の報酬は最大化される
- 探索（exploration）— 別の行動を試す。もっと良い選択肢が見つかるかもしれない
両立しない。単純な対処が \varepsilon-greedy である。確率 1-\varepsilon で最善の行動、確率 \varepsilon でランダムな行動を選ぶ。
このジレンマは、生物にとっても現実の問題である。いつもの餌場に行くか、新しい場所を探すか。動物の行動にも、この二つのモードの切り替えが観察されている。
方策ベース：方策勾配
価値を経由せず、方策 \pi_\theta(a\mid s) を直接パラメータ化して最適化する流儀もある。
期待収益 J(\theta) = \mathbb{E}_{\pi_\theta}[G] の勾配は、方策勾配定理により次の形になる。
\nabla_\theta J = \mathbb{E}\Big[ \sum_t \nabla_\theta\log\pi_\theta(a_t\mid s_t)\, G_t \Big]
読み方が直感的である。「良い結果につながった行動の確率を上げる」。G_t が大きければその行動の対数確率を上げ、小さければ下げる。
利点。連続的な行動空間を扱える。確率的な方策を自然に表現できる。
欠点。勾配の分散が大きい。G_t そのものを重みに使うので、ばらつきが直接効いてしまう。
Actor-Critic
両者を組み合わせたのが Actor-Critic である。
- Critic（批評家）が価値関数を学習する
- Actor（俳優）が方策を学習する。ただし重みに G_t ではなく TD 誤差 \delta_t を使う
\theta \leftarrow \theta + \alpha\, \delta_t\, \nabla_\theta\log\pi_\theta(a_t\mid s_t)
G_t の代わりに \delta_t を使うと、分散が下がる。平均的な価値を差し引いているからだ（ベースラインの効果）。
そして—この Actor-Critic の構造が、大脳基底核の解剖学的な構造とよく対応するという主張がある。次節で触れる。
5. ドーパミンと報酬予測誤差
前節までは計算の話だった。ここからは、その計算が脳のどこで行われているらしいかを見る。
実験
Schultz らは1990年代、サルの中脳ドーパミン細胞（腹側被蓋野・黒質緻密部）から記録を取った。サルに手がかり刺激を見せ、少し遅れてジュースを与える課題である。
観察された発火パターンは、次の三つだった。
（1）学習前。ジュースが与えられた瞬間に、ドーパミン細胞が強く発火する。手がかり刺激には反応しない。
（2）学習後。ジュースへの反応が消える。代わりに手がかり刺激に対して発火するようになる。
（3）予測した報酬が来なかったとき。本来ジュースが来るはずだった瞬間に、発火が基線以下に落ちる（一時的な抑制）。
TD 誤差との一致
この三つは、TD 誤差の振る舞いそのものである。
| 観察 | TD 誤差の予測 |
|---|---|
| （1）予期しない報酬 → 強い発火 | \delta = r - \hat V \gg 0 |
| （2）予測された報酬 → 反応消失 | \delta = r - \hat V \approx 0 |
| （2）手がかり刺激 → 発火 | 誤差の前方移動（第3節） |
| （3）報酬の省略 → 抑制 | \delta = 0 - \hat V < 0 |
とくに（3）が決定的である。「何も起きなかったこと」に対して発火が減る—これは「報酬に反応する細胞」では説明できない。誤差信号だからこそ、負の値を取る。
そして（2）の手がかり刺激への移動は、第3節で見た「誤差信号の前方移動」の直接の観察である。理論が予測した動的な性質が、そのまま観察された。
Montague、Dayan、Sejnowski らがこの対応を定式化したのが1990年代半ばである。理論神経科学の最大の成功例の一つとされる。
回路との対応
解剖学的な対応も指摘されている。
ドーパミン細胞は線条体に広く投射し、そこでのシナプス可塑性を制御する。線条体は、大まかに二つの部分に分かれる。
- 背側線条体 — 行動の選択に関わる → Actor
- 腹側線条体（側坐核） — 価値の評価に関わる → Critic
Actor-Critic 構造が、解剖学的に実装されているという見立てである。
そして可塑性の規則も対応する。第8章のコラムで見たとおり、シナプス可塑性は前後の細胞の活動に依存する。そこにドーパミンという第三の因子が加わると、「三項の可塑性」になる。
\Delta w \propto \underbrace{(\text{前シナプス活動})\times(\text{後シナプス活動})}_{\textsf{ヘッブ則}} \times \underbrace{\delta}_{\textsf{ドーパミン}}
第8章第9節で問うた「局所的な可塑性と大域的なスカラー信号で学習できるか」—強化学習は、その一つの答えである。ドーパミンは全体に一つのスカラーを配るだけだが、ヘッブ則と組み合わせれば「良かった行動を強化する」ことができる。
分かっていないこと
とはいえ、対応が完全なわけではない。
第一に、ドーパミンは報酬予測誤差だけを表していない。新奇性、顕著性、運動の開始、努力のコスト—さまざまな要因に反応することが報告されている。単一の信号として整理しきれない。
第二に、ドーパミン細胞は均質でない。近年の研究は、細胞ごとに異なる情報を運んでいることを示している。ある集団は報酬予測誤差を、別の集団は脅威や新奇性を—という具合である。
第三に、分布強化学習という展開がある。価値の期待値ではなく分布を学習するアルゴリズムが提案され、そしてドーパミン細胞の集団が、まさに分布を符号化しているという報告が出た。細胞ごとに楽観度が違うというのである。もし正しければ、標準的な TD 学習の描像は更新されることになる。
「理論の最大の成功例」でさえ、細部では書き換えが進んでいる。これは本書が繰り返し述べてきたこと—モデルと生物学の対応は、思われているより緩い—の、また一つの例である。
6. 深層強化学習
関数近似
これまで、価値関数を表で持つ（状態ごとに値を記録する）ことを暗黙に想定していた。状態が膨大なら不可能である。囲碁の局面は 10^{170} 通りある。
そこで関数近似を使う。価値関数をニューラルネットワークで表す。
Q(s,a) \approx Q_\theta(s,a)
TD 誤差を損失として、第8章の勾配降下法で \theta を学習する。
L(\theta) = \mathbb{E}\Big[\big( r + \gamma\max_{a'}Q_{\theta^-}(s',a') - Q_\theta(s,a)\big)^2\Big]
不安定さと二つの工夫
素朴にやると、学習が発散する。二つの理由がある。
理由1：データが独立でない。連続する時刻の経験は強く相関している。第8章の SGD が前提とする「独立なサンプル」という条件が破れる。
対処：経験再生（experience replay）。過去の経験をバッファに溜め、ランダムにサンプルして学習する。相関が壊れる。
理由2：目標が動く。損失の中に Q_\theta が二回現れる。目標を更新すると、その目標自体が動いてしまう。自分の尻尾を追いかける状況である。
対処：目標ネットワーク。目標側のパラメータ \theta^- を、一定期間固定する。定期的に \theta からコピーする。目標が止まっていれば、通常の回帰問題になる。
この二つを組み合わせたのが DQN（Deep Q-Network）である。Atari のゲームを画面のピクセルだけから学習し、人間並みの成績を出した。
本書の他の章との接点
深層強化学習には、本書の他の主題とつながる論点がある。
表現の問題。ピクセルから直接学習するとき、ネットワークは同時に「良い表現を作ること」と「価値を推定すること」をやっている。表現学習が強化学習の性能を決める—第11章の主題である。
モデルベース強化学習。環境のモデル p(s'\mid s,a) を学習し、それを使って計画する手法がある。これは第14〜15章の生成モデルそのものである。世界モデル（world model）と呼ばれ、近年の主要な方向の一つになっている。次節で扱う。
探索と生成。未知の状態を探索する動機を、内発的報酬として与える研究がある。「予測誤差が大きい状態へ行く」—これは第16章第4節で扱う能動的推論と、構造が似ている。ただし符号が逆である。自由エネルギー原理は驚きを減らそうとし、好奇心駆動の探索は驚きを求める。鍵になるのは時間幅である—いま驚きを求めることが、長い目で見れば驚きを減らすことになりうる。第16章第4節でこの見立てを検討する。
7. 世界モデル ── モデルを持って計画する
前節の最後で、モデルベース強化学習に触れた。ここを掘り下げておきたい。近年もっとも活発な方向の一つであり、本書の他の章と広く繋がるからである。
モデルフリーとモデルベース
これまで扱ってきた TD 学習・Q 学習・方策勾配は、いずれもモデルフリーだった。環境がどう動くかを知らないまま、試行錯誤で価値や方策を直接に更新する。
モデルベースはそこを変える。環境の動き方そのものを学習し、頭の中で先を読む。
利点は明快である。モデルがあれば、実際に行動しなくても結果を予測できる。実環境での試行は高価だ—ロボットなら壊れるし、時間もかかる。頭の中でなら、何千回でも試せる。
世界モデルの骨格
ではモデルとは何か。素直に書けば、次の二つの部品である（図 1）。
p\big(x_{1:T},\, z_{1:T} \mid a_{1:T}\big) = \prod_{t} \underbrace{p(z_t \mid z_{t-1}, a_{t-1})}_{\textsf{遷移モデル}}\; \underbrace{p(x_t \mid z_t)}_{\textsf{観測モデル}}
z_t が潜在状態、x_t が観測、a_t が行動である。潜在状態が行動を受けてどう動くかを決めるのが遷移モデル、その状態から何が見えるかを決めるのが観測モデル。これを世界モデル（world model）と呼ぶ。
なぜ「潜在」状態なのか。画面のピクセルをそのまま状態にすると、次元が大きすぎて先読みが重い。低次元の潜在空間に畳んでから、その中で時間を進める。これが計算を成立させている。
本書の道具が、ここで三つ揃う。
第3章の力学系。遷移モデルは、潜在空間の中の力学系にほかならない。アトラクター・安定性・ヤコビアンが、そのまま使える。
第14章の潜在変数モデル。上の式は、第14章で扱う潜在変数モデルに時間と行動を足しただけである。学習も変分推論で行う—その具体形は第17章第3節で見る。
本章の方策。そして潜在空間の中で、方策を学習する。
AlphaGo ── モデルが与えられている場合
世界モデルの話に入る前に、モデルが最初から手に入っている場合を見ておきたい。ここに、深層強化学習のもっとも有名な成果がある。
囲碁では、遷移モデルを学習する必要がない。ルールが分かっているからだ。「この手を打てば盤面はこうなる」は完全に既知である。残る問題は、先読みの木が大きすぎることだけである。
囲碁の合法手はおよそ250通り、対局は150手ほど続く。素朴に全部読めば 250^{150} 通り—宇宙の原子の数を軽く超える。枝を刈らねばならない。
AlphaGo (2016) の解法は、二つのネットワークで木を絞ることだった。
方策ネットワーク \pi(a\mid s) — この盤面ではどの手が有望か。探索する枝を絞る（幅を刈る）。
価値ネットワーク V(s) — この盤面はどれくらい有利か。終局まで読まずに評価を打ち切れる（深さを刈る）。
この二つをモンテカルロ木探索（MCTS）に組み込む。有望な手を選んで木を伸ばし、価値ネットワークで葉を評価し、結果を根まで戻す。探索と評価が互いを助ける構造である。
ここがポイント
AlphaGo の教訓は、学習と探索は競合しないということだった。
ネットワークだけでも打てる。木探索だけでも打てる。だが組み合わせると、どちらの単体よりはるかに強い。ネットワークが探索を絞り、探索がネットワークの誤りを訂正する。
本章の言葉で言えば、モデルフリーの直感（ネットワーク）とモデルベースの熟慮（探索）の組み合わせである。二つは対立する路線ではなく、補い合う。
AlphaZero (2017–2018) は、人間の棋譜を捨てた。自己対戦だけで学習し、囲碁・チェス・将棋のいずれでも既存の最強プログラムを超えた。与えられたのはルールだけである。
MuZero ── ルールも与えないとどうなるか
ここで本節の主題に戻る。ルールが与えられていなかったら、どうするのか。
Schrittwieser ら (2020) の MuZero が、この問いに答えた。遷移モデルそのものを学習する。つまり、ここからが世界モデルの話である。
そして MuZero の設計には、注目すべき判断がある。学習する遷移モデルは、盤面や画面を再現しない。
普通に考えれば、モデルとは「次に何が見えるか」を当てるものだろう。MuZero はそうしない。潜在状態を動かすだけで、そこから予測するのは方策・価値・報酬の三つだけである。画面は復元しない。
なぜか。計画に必要なのは、この三つだけだからである。背景の模様を正確に描けても、勝率の推定が良くなるわけではない。
この判断は、本節の残りと第17章第4節の核心に直結する。「世界モデルは世界を写し取るべきか、それとも役に立つ分だけ持てばよいのか」—MuZero は後者に賭けて、成功した。
夢の中で学習する
Ha と Schmidhuber (2018) の構成は、三つの部品から成る。V（VAE で画像を潜在ベクトルに畳む）、M（再帰ネットワークで潜在状態の遷移を予測する）、C（小さなコントローラ）である。
示されたのは、印象的なことだった。学習した M の中だけで—つまり実環境に一切触れずに—コントローラを訓練し、それを実環境に持ち込んで動かせる。
著者自身の言葉を借りれば、エージェントは「夢の中で」学習する。
Dreamer 系の手法はこれを洗練させた。潜在軌道の上で価値と方策を勾配法で学習する—本章第4節の方策勾配が、潜在空間の中で回っていると読める。
ここがポイント
世界モデルは、試行錯誤のコストを下げる装置である。モデルフリーが「世界に問い合わせる」のに対し、モデルベースは「頭の中で問い合わせる」。
ただしただ乗りではない。モデルが間違っていれば、間違った夢の中で最適な方策を学んでしまう。モデルの誤差が、そのまま方策の誤差に化ける—これがモデルベースの弱点であり、二つの路線が今も併存している理由である。
脳の側 ── 認知地図から内部モデルへ
脳が世界モデルを持つという発想には、長い前史がある。
認知地図。Tolman (1948) は、迷路を走るラットが単なる刺激-反応の連鎖ではなく、環境の「地図」を作っていると主張した。行動主義が支配的だった時代に、内部表象を要求した議論である。モデルフリーとモデルベースの対立は、この論争の子孫だと言ってもよい。
場所細胞と格子細胞。その神経的な裏づけとされたのが、海馬の場所細胞（O’Keefe & Dostrovsky, 1971）—特定の場所にいるときだけ発火する細胞—と、嗅内皮質の格子細胞（Hafting et al., 2005）—六角格子状の発火パターンを示す細胞—である。第7章のコラムで見た海馬が、ここでも登場する。
運動制御の内部モデル。別系統の証拠が運動制御から来る。Wolpert ら (1995) と川人 (1999) は、自分の運動の結果を予測する順モデル（forward model）が小脳にあると論じた。感覚フィードバックは遅いので、予測なしに素早い運動は制御できない—これは工学的にほぼ必然の議論である。
分かっていないこと。ここは正直に書いておきたい。
第一に、これらが一つの「世界モデル」なのかは分からない。場所細胞は空間の地図、小脳の順モデルは身体の力学。別々の機構が別々の目的で作られている可能性は、十分にある。「脳は世界モデルを持つ」という一文が、これらを束ねる正当な理由になっているとは限らない。
第二に、海馬の表象が「地図」なのかも議論がある。場所細胞は予測的な性質を持ち、将来訪れる場所を先取りして発火する—そこから「海馬は後継者表象（successor representation）を保持している」という解釈が提案されている（Stachenfeld et al., 2017）。これは地図というより、本章で扱ってきた価値計算の部品である。モデルベースとモデルフリーの中間とも読めて、両者の境界が思うほど明確でないことを示唆する。
第三に、「モデルを持つ」ことを測る方法がない。内部モデルの存在は、たいてい行動から間接的に推論される。デコーディングで潜在状態が読み出せたとしても、第12章第10節の留保—読み出せることは、使われていることを意味しない—がそのまま当てはまる。
残る問い
ここまでは「どう作るか」の話だった。だが、もっと厄介な問いが残っている。
世界モデルを学習するには、予測が当たったかどうかを測らねばならない。その誤差を、どの空間で測るのか。ピクセルを復元して比べるのか、それとも抽象化した表現の上で比べるのか。
これは技術的な選択に見えて、実は第12章の測定論そのものである。そして「世界を理解している」とはどういうことか、という問いに直結する。第17章第4節で、正面から扱う。
次章へ
これで三つの学習—教師なし（第7章）、教師あり（第8章）、強化（第10章）—を見たことになる。その間に汎化の謎（第9章）を挟んだ。
これまで我々は「学習によって何ができるようになるか」を見てきた。次に問うのは、「学習の結果、内部に何ができているのか」である。神経集団の活動を高次元空間の点の配置として測り、その形を調べる。
そして第9章第9節で開いた問い—何をもって「同じ構造」と言うのか—が、そこで測定と対称性の言葉で扱われることになる。
本文の TD 誤差が、脳のどこで実装されているとされるのかを見ておく（図 2）。
大脳基底核の構成。大脳皮質の下にある一群の核である。主な構成要素は、入力部にあたる線条体（尾状核・被殻・側坐核）、出力部にあたる淡蒼球内節と黒質網様部、そしてドーパミンを供給する黒質緻密部（SNc）と腹側被蓋野（VTA）である。
ループ構造。皮質 → 線条体 → 淡蒼球 → 視床 → 皮質、という閉じたループをなす。運動・認知・情動のそれぞれに対応する並行したループがあるとされる。
直接路と間接路。線条体から出力部への経路は二つある。直接路は出力部を抑制し、結果として行動を促進する。間接路は逆に行動を抑制する。この二つの経路の細胞は、ドーパミン受容体の型が違う（D1 と D2）。ドーパミンが増えると直接路が強化され間接路が弱まる—つまり行動が促進される方向に働く。
ドーパミン細胞。数は意外に少ない。ヒトで数十万個のオーダーである。だが軸索が極端に分岐しており、一個の細胞が線条体の広い範囲に投射する。「少数の細胞が全体に一つの信号を配る」という構造が、本文で述べたスカラーの大域信号にあたる。
三項の可塑性。線条体のシナプスでは、前シナプス活動・後シナプス活動・ドーパミンの三つが揃ったときに可塑的変化が起きるという証拠がある。本文の \Delta w \propto (\text{前})\times(\text{後})\times\delta に、分子的な対応物があることになる。
パーキンソン病。ドーパミン細胞の変性によって起こる。運動の開始が困難になる（無動）のは、直接路の促進が弱まるためと説明される。理論的な枠組みが臨床と接続する例である。
分かっていないこと。本文でも述べたが、対応には未解決の部分が多い。
第一に、ドーパミンが運ぶ情報は単一でない。報酬予測誤差だけでなく、新奇性・顕著性・運動開始・努力コストへの反応が報告されている。「ドーパミン＝報酬予測誤差」という等式は、便利な近似であって、実態ではない。
第二に、細胞集団が均質でない。投射先ごと、細胞群ごとに運ぶ情報が違うという報告が蓄積している。単一のスカラー信号という描像自体が、書き換えを迫られている可能性がある。
第三に、分布強化学習との関係が未決着である。ドーパミン細胞が価値の期待値ではなく分布を符号化しているという報告は魅力的だが、追試と解釈をめぐる議論が続いている。
第四に、Actor-Critic と背側／腹側線条体の対応も、きれいではない。両者の機能的な区分は連続的であり、明確な境界があるわけではない。解剖学的な区分に計算的な役割を割り当てるという作業は、常にこの種の困難を伴う。
出典 Albin et al. (1989)、Schultz et al. (1997)、Dabney et al. (2020)、カンデル神経科学 第2版。
確認問題
［導出］割引率 \gamma を導入する理由を三つ挙げよ。|r|\le r_{\max} のとき収益が有界になることを示せ。（第1節）
［確認］Rescorla–Wagner 則を書き、ブロッキング現象がなぜ説明できるかを述べよ。（第3節）
［導出］Q 学習が off-policy である理由を、更新式のどこから読み取れるかを示せ。（第4節）
［確認］Schultz らが観察したドーパミン細胞の三つの発火パターンを述べ、それぞれが TD 誤差のどの性質に対応するかを示せ。（第5節）
［考える］「報酬が省略されたときに発火が基線以下に落ちる」という観察が、なぜ決定的な証拠になるのかを述べよ。（第5節）
［確認］三項の可塑性 \Delta w \propto (\text{前})\times(\text{後})\times\delta が、第8章第9節の問い（局所的な可塑性で学習できるか）にどう答えているかを述べよ。（第5節・第8章第9節）
［考える］MuZero が学習する遷移モデルは、盤面や画面を再現しない。なぜそれで計画ができるのか。この判断は第17章第4節のどの論点につながるか。（第7節・第17章第4節）
［考える］好奇心駆動の探索と、第16章第4節の能動的推論の関係を述べよ。両者はどこが緊張関係にあるか。また、報酬関数の設計と事前選好の設計が「同じ穴」であるとはどういう意味か。（第6節・第16章第4節）
参考文献
- Sutton, R. S. & Barto, A. G. (2018) Reinforcement Learning: An Introduction — 標準的な教科書。無料で公開されている。適格度トレースと TD(λ) は第12章に詳しい［3節］
- Yagishita, S. et al. (2014) A critical time window for dopamine actions on the structural plasticity of dendritic spines. Science — 適格度トレースの分子的な対応物。ドーパミンがスパインの拡大を促す窓は入力の 0.3〜2 秒後に限られる［3節・5節・第8章コラム C8］
- Schultz, W., Dayan, P. & Montague, P. R. (1997) A neural substrate of prediction and reward. Science — 本章第5節の原典
- Mnih, V. et al. (2015) Human-level control through deep reinforcement learning. Nature — DQN［6節］
- Silver, D. et al. (2016, 2017, 2018) — AlphaGo から AlphaZero へ［7節］
- Schrittwieser, J. et al. (2020) Mastering Atari, Go, chess and shogi by planning with a learned model. Nature — MuZero［7節］
- Ha, D. & Schmidhuber, J. (2018) World models — 「夢の中で学習する」［7節］
- Hafner, D. et al. (2025) Mastering diverse control tasks through world models. Nature — Dreamer［7節］