16 自由エネルギー原理 ── 予測する脳
本書は第7章で、ホップフィールドのエネルギー関数から出発した。そこから長い道のりだった。ボルツマンマシンの分配関数に阻まれ、変分下界で迂回し、ヘルムホルツマシンと VAE を経て、拡散モデルまで降りてきた。この道の途中で、われわれは一つの式を手に入れている。
\log p_\theta(x) = \mathcal{L}(q,\theta) + \mathrm{KL}\big(q(z) \,\|\, p_\theta(z\mid x)\big)
第14章第3節で導いた、ELBO の分解である。本章の第2節で、この式の符号をひっくり返すだけで、脳の理論として提案されている「変分自由エネルギー」になることを見る。第7章のエネルギーと第14章の下界が、そこで合流する。そして本章は、そこから一歩を踏み出す。同じ量を q について下げれば知覚、\theta について下げれば学習、そして感覚入力そのものについて下げれば行動になる—という主張である。予測する脳という発想が、どこまで押し広げられるかを見ることになる。
押し広げる先には、身体の内側もある。心臓の鼓動や胃の張りを予測するとはどういうことか。身体についての推論は、情動とどう結びつくのか。第5節でこの問題を扱う。
第1節が具体的な回路モデル（予測符号化）、第2節が本書全体の合流点、第3〜4節が原理としての定式化と強化学習との対立、第5節が身体の内側への適用、第6節が自他境界、第7節が批判的検討である。
第2節がいちばん大事である。第14章の ELBO の符号を反転すると、変分自由エネルギーになる。ここは短いが、本書でいちばん「つながった」と感じてほしい箇所だ。
第5節は本書で唯一、情動を扱う節である。数式は新しく出てこない。第3節の「三つの最小化」が内臓を相手にしたとき何になるか、という話だと思って読んでほしい。
第7節では自由エネルギー原理への批判を扱う。教科書として一方に肩入れしないためだが、批判の中身自体が「理論とは何か」を考えさせる。
なお本章は「脳は世界のモデルを持つ」と述べるところまでで終わる。そのモデルを実際に作ってみるとどうなるかは、次章の主題である。
1. 予測符号化
自由エネルギー原理に入る前に、その具体的な回路モデルから始めよう。予測符号化（predictive coding）である。
発想
第14章で、ヘルムホルツの「知覚は無意識的推論である」という見方を紹介した。予測符号化は、これを皮質の回路として実装する提案である。
中心となる主張はこうだ。皮質の各層は、下の層の活動を予測している。そして上へ送られるのは、予測が外れた分（予測誤差）だけである。
素朴なフィードフォワードの見方では、感覚情報がそのまま上へ流れていく。予測符号化はこれを反転させる。上へ流れるのは「驚き」だけであり、予測どおりだったものは送られない。
Rao–Ballard モデル
Rao と Ballard (1999) の定式化を見よう。階層の第 i 層に n_i 個の表現ユニットがあるとし、その活動を縦に並べたベクトルを r_i \in \mathbb{R}^{n_i} とする。上の層は下の層を予測する。その結合を表す W_{i+1} \in \mathbb{R}^{n_i \times n_{i+1}} は、行が予測を受ける第 i 層のユニット、列が予測を送る第 i+1 層のユニットに対応し、f は各成分に当てる活性化関数である。予測 \hat{r}_i と予測誤差 e_i は、どちらも \mathbb{R}^{n_i} のベクトルになる。
\hat{r}_i = f(W_{i+1}\, r_{i+1})
予測誤差は
e_i = r_i - \hat{r}_i
知覚を求めるあいだは、最下層の感覚入力と結合行列を固定して、その上の表現を動かす。各層の表現は、自分より下の予測誤差を減らし、かつ自分が上から予測された値から離れすぎないように更新される。誤差の二乗和 \frac{1}{2}\sum_i \|e_i\|^2（各層の誤差の各成分を二乗して全部足したもの）を r_i で微分し、符号を反転した向きへ動かせばよい。下の式の \dot{r}_i = dr_i/dt は表現の時間変化率で、\propto は正の更新速度の係数を省いた印である。以下では見通しを優先して f を恒等写像とする。
\dot{r}_i \;\propto\; \underbrace{W_i^\top e_{i-1}}_{\textsf{下の誤差を受け取る}} \;-\; \underbrace{e_i}_{\textsf{上の予測からのズレ}}
非線形の f を残すなら、下の層の誤差を活性化関数の傾きで成分ごとに重み付けしてから上へ運ぶことになり、第一項は W_i^\top\big[e_{i-1}\odot f'(W_i r_i)\big] になる（f' は f の微分を各成分の入力で評価したもの、\odot は同じ位置の成分どうしの積である。角括弧の中は下の層と同じ n_{i-1} 成分で、W_i^\top を掛けると第 i 層と同じ n_i 成分に戻る）。第8章の逆伝播と同じ形—誤差を転置行列で運び、活性化関数の微分で変調する—がここにも現れる。この形をよく見てほしい。第一項はボトムアップ（誤差の上行）、第二項はトップダウン（予測の下行）である。二つの流れが釣り合ったところが、知覚の結果になる。
各層にユニットが一つずつある例で、釣り合いを確かめよう。最下層を r_0 = 3、最上層を r_2 = 0 に固定し、中間層の r_1 だけを動かす。結合は W_1 = W_2 = 1、活性化関数は入力をそのまま返すものとする。r_1 = 1 なら、下から上がってくる誤差は e_0 = 3 - 1 = 2、上からの予測とのズレは e_1 = 1 - 0 = 1 なので、更新の向きは 2 - 1 = 1—r_1 は増える。r_1 = 1.5 にすると両方の誤差が 1.5 になり、1.5 - 1.5 = 0 で更新が止まる。どちらの誤差もゼロになっていないことに注意してほしい。表現は、二つの要求の釣り合うところに落ち着くのである。誤差の二乗和の半分は、r_1=1 のときの 2.5 から 2.25 に下がっている。
回路の構成を 図 1 に示す。
何を説明するか
予測符号化が注目されたのは、V1 の古典的受容野の外からの影響（extra-classical receptive field effects）を説明できたからである。代表例がエンドストッピング（end-stopping）である。ある細胞は短い線分によく応答するのに、同じ線分を長くすると応答が減る。素朴なフィルタモデルでは説明しにくい—長いほうが受容野内の刺激エネルギーは大きいのだから。
予測符号化の説明はこうである。長い線分は周囲の文脈から予測しやすい。予測できるものは予測誤差を生まない。だから応答が減る。「応答の減少」が「よく説明できていること」を意味するという、視点の反転である。
同様の説明が、周囲文脈による抑制（surround suppression）や、繰り返し刺激への応答減衰（repetition suppression）にも与えられる。
誤差ユニットという仮説
Rao–Ballard 型の予測符号化は、皮質に二種類のユニットがあることを要求する。表現を担うユニット r と、予測誤差を担うユニット e である。
これは検証可能な予測だが、決着していない。皮質のどの細胞が誤差ユニットなのかは同定されていない。なお、ここでいう1層から6層は大脳皮質を表面から深部へ分けた解剖学的な層で、上の式の階層の番号 i とは別である。層別の投射パターン（フィードフォワードは4層へ、フィードバックは1層と6層へ）が理論の要求と整合的だという議論はあるが、対応は緩い。本章末のコラムで扱う。
2. 変分自由エネルギー
本書の合流点である。
符号を反転する
第14章第3節で導いた式を、もう一度書く。
\log p_\theta(x) = \mathcal{L}(q,\theta) + \mathrm{KL}\big(q(z) \,\|\, p_\theta(z\mid x)\big)
ここで、x は観測、z はその背後にある潜在変数、q(z) は観測 x を受けて潜在変数を推論するための近似分布である。そのうえで F = -\mathcal{L} と定義する。それだけである。F は、観測とモデルと近似分布を決めれば一つの実数になる評価量で、第3章で入力を活動に変える応答関数に使った F とは別物である。すると
F = -\log p_\theta(x) + \mathrm{KL}\big(q(z)\,\|\,p_\theta(z\mid x)\big)
この F が変分自由エネルギー（variational free energy）である。
「変分」という言葉を説明しておこう。変分とは、数ではなく関数を少し変えることである。ここで変える関数は、潜在変数の各値に確率を割り当てる q である。つまり F を小さくするために、割り当て方そのものを動かす。ただし確率は非負で、全体の和（連続なら積分）が 1 になるという条件は守らなければならない。実際の計算では、扱える分布の族をあらかじめ選び、その平均や分散などを動かすことが多い。
読み方
右辺の二項には、それぞれ名前がついている。第一項 -\log p_\theta(x) は「驚き」（surprise）、あるいは驚愕度（サプライザル）である。情報理論の自己情報量そのものだ。観測 x がモデルにとって意外であるほど大きくなる。第1節では予測誤差を直感的に「驚き」と呼んだが、こちらは対数確率で定めた一つの実数であって、予測誤差のベクトルそのものとは区別してほしい。
第二項は近似の悪さである。q が真の事後分布に一致すればゼロになる。
そして KL は非負だから、
F \;\ge\; -\log p_\theta(x)
自由エネルギーは、驚きの上界である。驚きそのものは計算できない（p_\theta(x) の積分が要る）が、その上界なら計算できる。第14章第3節と同じ条件—q と p_\theta の台が整合し、期待値が定まること—を引き継いでいる。
第14章では「下界を上げて尤度を押し上げる」と言った。同じことを符号を変えて言っているだけである。下から押し上げるか、上から押さえ込むか—見方が違うだけだ。ただし「上界を下げれば驚きが下がる」という言い方は、少し雑である。何を動かしているかで意味が変わるので、分けておこう。
- \theta を止めて q を動かす（知覚）。このとき驚き -\log p_\theta(x) は動かない。下がるのは第二項、つまり上界と驚きの隙間である
- q を止めて \theta を動かす（学習）。ここで初めてモデルが変わる。F を下げることは、驚きの上界を下げることであって、驚きそのものが必ず下がるとは限らない
- x を変える（行動）。次節で扱う。これは驚きの相手そのものを取り替える操作である
三つを一つの量 F の最小化として書けることが、この理論の見晴らしのよさであり、同時に「何をしているのか分かりにくい」と言われる理由でもある。
ヘルムホルツからフリストンへ ── この式の来歴
知覚を無意識的推論と見るヘルムホルツの発想、生成と認識を対にするヘルムホルツマシン、EM を変分下界の最適化として捉え直す Neal と Hinton の議論—ここまでは第14章で通ってきた。フリストンは、この同じ評価量を知覚と学習から、行動と生存へ押し広げる。感覚入力 x そのものを行動で変えるという、次節の一手である。
ここがポイント
F=-\mathcal{L} という式の関係と、脳がその量を最小化しているという主張は別である。同じ式を使う系譜があることは、生物が同じ手続きで動く証拠にはならない。第14章で見た Wake-Sleep も、単一の変分下界を最適化する手続きではなかった。
なぜ「自由エネルギー」なのか
名前は統計力学から来ている。F を別の形に分解してみよう。
\begin{aligned} F &= -\mathbb{E}_q\left[\log \frac{p_\theta(x,z)}{q(z)}\right] \\ &= \underbrace{\mathbb{E}_q\big[-\log p_\theta(x,z)\big]}_{\textsf{「エネルギー」の期待値}} \;-\; \underbrace{\Big(-\mathbb{E}_q\big[\log q(z)\big]\Big)}_{\textsf{エントロピー } H[q]} \end{aligned}
E(x,z) = -\log p_\theta(x,z) と置けば、
F = \mathbb{E}_q[E] - H[q]
熱力学の自由エネルギー F = U - TS と同じ形である（U が内部エネルギー、T が絶対温度、S が熱力学的なエントロピー。温度の係数を T=1 と規格化したもとで、U に \mathbb{E}_q[E]、S に H[q] が対応する、という式の形の比較である。脳の温度が 1 だという主張ではない）。そして E = -\log p という関係は、第7章第3節のギブス分布 p \propto e^{-E} を裏返したものに他ならない。
第7章のエネルギーが、ここで文字通り「エネルギー」として戻ってきた。
ここがポイント
変分自由エネルギーは、ELBO の符号を反転しただけである。F = -\mathcal{L}。そして F は「驚き」-\log p(x) の上界であり、\mathbb{E}_q[E] - H[q] という熱力学と同じ形をしている。第7章のエネルギーと第14章の下界が、ここで一つになる。
F には二通りの書き方があった。F = -\log p_\theta(x) + \mathrm{KL}\big(q(z)\,\|\,p_\theta(z\mid x)\big) と、F = \mathbb{E}_q[E] - H[q] である。前者は「驚き＋近似の粗さ」、後者は「エネルギー−エントロピー」。同じ量の別の顔だというなら、数を入れれば一致するはずだ。
紙の上でできる大きさで試してほしい。z が3通りの値を取る離散変数とし、同時分布 p_\theta(x,z) を適当に決める（たとえば 0.30,\,0.25,\,0.05）。q(z) も適当に決める（0.5,\,0.3,\,0.2 など）。あとは電卓で、両方の式を計算するだけである。
- 二つの値は一致するか
- q を事後分布 p_\theta(z\mid x) そのものに取り替えると、F はどうなるか。そのとき \mathrm{KL} はいくつか
- q をいろいろ動かして、F が -\log p_\theta(x) を下回ることはあるか
三つ目が確かめられれば、「F は驚きの上界である」という主張を、自分の手で見たことになる。では—p_\theta(x,z) のほうを動かして驚きを下げるのと、q を動かして KL を下げるのとでは、何が違うのだろうか。
3. 自由エネルギー原理
Friston (2010) の主張は、この量を脳の原理に据えるものである。
生物は、変分自由エネルギーを最小化するように振る舞う。
F は q（内部状態）と \theta（モデルのパラメータ）と x（感覚入力）に依存する。ここで q を「内部状態」と呼ぶのには一つ読み替えが入っている—q は潜在変数についての確率分布であって、神経活動そのものではない。脳の状態がその分布を指定する、と読むのである。この読み替えの中身と、それがどこで問題になるかは第6節で扱う。それぞれを動かすことが、異なる機能に対応するというのが、この原理の見通しの良さである。
三つの最小化
q を動かす — 知覚
感覚入力を固定したまま、内部の信念 q を更新して F を下げる。これは第14章の E ステップにあたり、事後分布への近似を良くする作業である。知覚とは推論であるというヘルムホルツの主張の、形式化になっている。
\theta を動かす — 学習。生成モデル自体を更新する。M ステップにあたる。時間スケールが知覚より遅い。
x を動かす — 行動
ここが自由エネルギー原理の独自なところである。
F を下げるには、信念を世界に合わせるだけでなく、世界を信念に合わせるという手もある。予測と違う入力が来たなら、予測が当たるように環境を変えてしまえばよい。手を伸ばして物を掴むのは、「掴んでいる」という予測を実現する行動である—これを能動的推論（active inference）と呼ぶ。
一つ補っておく。選べるのは感覚入力 x そのものではない。選べるのは行動 a であって、a が身体と環境を動かし、その結果として入ってくる感覚が変わる。だから正確には「行動を通じて、感覚入力の分布を変える」である。同じ一つの量を、三つの異なる変数について最小化する。それが知覚・学習・行動に対応する。理論としての魅力は、この統一性にある。
精度
もう一つ重要な要素が精度（precision）である。予測誤差には、信頼できるものとそうでないものがある。暗闇での視覚入力は当てにならない。だから予測誤差に重みを付ける必要がある—これが精度で、誤差の分散の逆数にあたる。分散を \sigma^2 > 0 と書けば、精度は 1/\sigma^2 である。ばらつきの大きい信号には小さい重み、ばらつきが小さく信頼できる信号には大きい重みが付く。ラプラス近似とは、確率密度の山の頂上のまわりで、その対数を二次までの式で近似し、もとの密度をガウス分布で置き換える方法である。対数密度の曲がり具合が、近似したガウス分布の広がりを決める。以下の式は、予測誤差がガウス分布に従い、q もガウスで近似できるとき（ラプラス近似）に成り立つものである。なお「予測誤差にガウス分布を仮定する」ことと「事後分布をガウスで近似する」ことは、別の段階の近似である。
下の式では、第1節の誤差ベクトルを成分に分け、各成分を独立なガウス分布で扱う。添字 i は層ではなく誤差の成分を数えており、e_i \in \mathbb{R} は一成分の誤差、その分散を \sigma_i^2 > 0、精度を \pi_i = 1/\sigma_i^2 と置く。だから \pi_i e_i^2 は一つの実数である。\text{const} は、誤差と精度によらない項をまとめたものである。
F \approx \frac{1}{2}\sum_i \big(\pi_i\, e_i^2 - \log \pi_i\big) + \text{const}
\pi_i が精度である（次節では \pi を方策の記号として使う。添字のある \pi_i が精度、添字のない \pi が方策である）。精度が高い誤差は強く効き、低い誤差は無視される。第二項があることに注意してほしい。これがなければ、すべての精度をゼロにするのが最適になってしまう（何も信じなければ誤差も効かない）。-\log\pi_i は精度がゼロへ落ちるのを防ぐ。固定した非ゼロの誤差なら、小さすぎても大きすぎても損をする。ただし誤差がゼロになると精度を無限に上げられるので、同時に最適化するなら精度の上限などが必要になる。
この重み付けを、注意と結びつける説明がある。注意を向けるとは、その感覚チャネルの精度を上げることだ、という見方である。神経修飾物質（アセチルコリンなど）が精度制御を担うという仮説も提出されている。魅力的だが、検証は容易でない。
4. 能動的推論と強化学習 ── 二つの原理の緊張
前節で、行動が「自由エネルギーを下げる第三の手」として現れた。だが読者は引っかかったはずである。第10章では、行動は報酬を最大化するものだった。同じ行動を、二つの違う原理が説明している。どちらが正しいのだろうか。本節はこの緊張を正面から扱う。
報酬は要らない、という主張
自由エネルギー原理の側の主張は、思い切ったものである。報酬という別立ての量は要らない。
からくりは、生成モデルの事前分布にある。生物が「こうあってほしい」観測—食べている、体温が保たれている—に高い確率を割り当てた分布 p(x) を持っているとしよう。ここでの p(x) は観測の望ましさを表す分布であって、第2節の p_\theta(x) を書き縮めたものではない。選好をモデルに組み込むという設定が加わっている（このあと使う p(x,z) も、この選好分布 p(x) を周辺分布として持つ同時分布である）。すると
-\log p(x)\ \text{が小さい} \iff x\ \text{が選好された状態}
驚きの小ささが、そのまま「望ましさ」になる。報酬関数 r(x) を置く代わりに、事前分布 p(x) に選好を焼き込む。これを事前選好（prior preference）と呼ぶ。
書き換えの対応はこうなる。
| 強化学習 | 能動的推論 |
|---|---|
| 報酬 r(x) を最大化 | 事前選好 \log p(x) を実現 |
| 価値関数 V(s) を最大化 | 期待自由エネルギー G(\pi) を最小化 |
| 探索ボーナス（別立て） | 情報利得（同じ量から出る） |
| 方策 \pi を報酬で選ぶ | 方策 \pi を G で選ぶ |
期待自由エネルギー ── 探索と搾取が一つの式から出る
この売り文句の中身を見よう。「この行動の進め方を選んだら、何が起こり、何が観測されるか」を予測し、その起こりやすさで平均して評価する。
先に小さな例で、二つの項の大きさを見ておこう。状態 z と観測 x はどちらも 0 か 1 を取るとする。ある方策のもとで状態は半々、観測は状態と確率 0.8 で一致するとしよう。すると予測される同時分布は、x = z の二組に 0.4 ずつ、x \ne z の二組に 0.1 ずつを割り当てる。観測も半々で、観測したあとは z = x の確率が 0.8 になる。選好する観測の分布も半々（p(x=0)=p(x=1)=0.5）としておく。すると選好からの隔たりは -\log 0.5 \approx 0.693、情報利得は 0.8\log(0.8/0.5) + 0.2\log(0.2/0.5) \approx 0.193 で、期待自由エネルギーは差の約 0.500 になる（対数は自然対数）。情報利得は引かれる側に入っている—だから、観測して分かることが多い方策のほうが値が小さくなり、選ばれやすい。
この計算を一般の分布で書こう。まだ起きていない未来について自由エネルギーを評価するので、期待自由エネルギー G(\pi) と呼ばれる。方策 \pi を取ったときの、将来の観測 x と状態 z についての期待値である。q(x, z \mid \pi) がその予測される同時分布で、z について足し合わせれば観測の予測分布 q(x \mid \pi)、x について足し合わせれば状態についての信念 q(z \mid \pi) になる。第2節の F が「届いた観測」について評価する量だったのに対し、G は「これから届く観測」も含めて平均する量である。
G(\pi) = \mathbb{E}_{q(x,z\mid\pi)}\Big[\log q(z\mid\pi) - \log p(x,z)\Big]
これを分解する。\log p(x,z) = \log p(z\mid x) + \log p(x) と分けて、項を並べ替える。
\begin{aligned} G(\pi) &= \mathbb{E}\big[\log q(z\mid\pi) - \log p(z\mid x) - \log p(x)\big] && \textsf{(分けて代入した)}\\ &= \underbrace{-\,\mathbb{E}\big[\log p(x)\big]}_{\textsf{選好からの隔たり}} \;-\; \underbrace{\mathbb{E}\big[\log p(z\mid x) - \log q(z\mid\pi)\big]}_{\textsf{情報利得}} && \textsf{(二つに束ねた)} \end{aligned}
第一項は、観測の予測分布 q(x\mid\pi) で、選好分布 p(x) による驚きを平均した交差エントロピーである（第5章第3節）。離散なら -\sum_xq(x\mid\pi)\log p(x) であり、選好との KL そのものではない。別の束ね方をする「リスク＋あいまいさ」の分解は、発展編C.5 期待自由エネルギーを組み替えるで扱う。まず、いまの二項を読もう。
第二項について、一言補っておく。これを「情報利得」と呼べるのは、p(z\mid x) をその方策のもとでの観測後の信念 q(z\mid x,\pi) と同一視する近似を置いたときである。そのとき第二項は
\mathbb{E}_{q(x\mid\pi)}\Big[\mathrm{KL}\big(q(z\mid x,\pi)\,\|\,q(z\mid\pi)\big)\Big] \;\ge\; 0
という形になる。観測する前の信念と、観測した後の信念が、どれだけ食い違うか。これが「観測によって得られる情報の量」である。
式を読もう。G を小さくするには、二つの道がある。
選好の項を下げる—選好する観測が起きる方へ行く。これは搾取（exploitation）である。報酬の高い状態を目指すことに他ならない。
情報利得を大きくする—観測することで状態についての信念が大きく更新される方へ行く。第二項は G に負号で入るので、これで G は下がる。これは探索（exploration）である。「行ってみないと分からない場所」に価値が付く。
探索と搾取が、一つの量の分解から出てくる。強化学習では \epsilon-greedy や探索ボーナスを外から足していた。ここでは足す必要がない—これが能動的推論のいちばんの売りである。
暗い部屋の問題
では自由エネルギー原理の勝ちかというと、そう簡単ではない。有名な反論がある。
驚きを最小化したいのなら、真っ暗で何も起きない部屋に閉じこもるのが最適ではないか。何も起きなければ、予測はすべて当たる。自由エネルギーは小さくてすむ。だが生物はそうしない。これが暗い部屋の問題（dark-room problem）である。フリストンらは二つの答えを用意している。
答えその一。事前選好の中に「食べる」「動く」「体温を保つ」が入っている。暗い部屋は選好に反するので、そこに留まると第一項が悪化する。
答えその二。第二項の情報利得が探索を促す。何も起きない部屋では信念が更新されないので、G は下がりきらない。
外から与えなければならないのは事前選好の中身である。何を「望ましい観測」とするかを、理論は決めてくれない。進化が決めた、というのは説明ではなく、説明の外注である（探索の項のほうは、期待自由エネルギーを分解すれば出てくる。外から足したものではない）。
ここがポイント
強化学習と能動的推論は、同じ穴を違う名前で持っている。強化学習は「報酬関数をどう決めるか」を理論の外に置き（報酬設計の問題）、能動的推論は「事前選好をどう決めるか」を外に置く。どちらも、行動の目標そのものは与えられている。能動的推論の利得は、目標が決まったあとで探索と搾取を別立てにしなくて済むこと—そこにある。
符号が逆に見える問題
第10章第6節で予告した緊張に戻ろう。好奇心駆動の探索は、予測誤差の大きい状態を求める。自由エネルギー原理は、驚きを減らそうとする。符号が逆である。
期待自由エネルギーの分解は、この緊張をいくらか解く。短期的に探索するのは、長期的に驚きを減らすためである—情報利得の項が、まさにそれを言っている。いま探索しておけば、モデルが良くなり、将来の予測が当たるようになる。
ただし、時間の幅を指定するだけでは足りない。第10章第6節で書いたとおり、求めているものが違うからだ。好奇心の実装としてよく使われる「生の予測誤差」は、原理的に予測できない雑音に対しても大きくなる（砂嵐の画面をいつまでも眺めることになる）。いっぽう期待自由エネルギーの探索の項が測るのは、観測によって減らせる不確実性—期待情報利得である。学習で減る不確実性と、いくら見ても減らない雑音を区別するかどうかが分かれ目で、そのうえで時間の幅の話が効いてくる。そしてどの範囲で期待値を取るかを決めなければ、「探索する」も「引きこもる」も同じ理論から出てきてしまう。第7節で扱う反証可能性の批判は、ここにも効いている。
実験で切り分けられるか
最後に、脳の話に戻そう。この対立は、データで決着がつくだろうか。
第10章第5節で見たドーパミンの応答は、報酬予測誤差としてきれいに説明された。では自由エネルギー原理の側は、このデータをどう読むのか。
能動的推論の枠組みでは、ドーパミンは精度（前節）を担う信号として読み替えられる。「この方策がどれだけ信頼できるか」の重みである。報酬予測誤差そのものではない、という主張だ。同じデータの、二つの読み替えである。そして現状では、どちらの読み方が正しいかを決める実験は、まだ設計されていない。二つの理論は、いまのところ「同じ現象の違う記述」に留まっている。
読者への問い。もしあなたが実験計画を立てるとしたら、何を測るだろうか。両者が違う予測をする状況を作らなければならない。報酬はゼロだが情報利得が大きい状況—たとえば「役に立たないが未知の情報」を得る機会に、動物が接近するかどうか。それは一つの切り口になるだろうか。
5. 内臓を予測する ── 情動と自己
ここまで、予測の相手はもっぱら外界だった。網膜に映る像、耳に届く音、指先の触覚である。
だが感覚には、もう一系統ある。心臓の鼓動、胃の張り、呼吸の苦しさ、血中の二酸化炭素。身体の内側から来る信号である。これを内受容（interoception）と呼ぶ。外受容（exteroception）と対になる語だ。
問いはこうなる。前節までの枠組みを、この系統にそのまま当てはめたら何が出てくるだろうか。
三つの最小化を、内臓に向ける
第3節の三つの最小化を、相手を内臓に取り替えて読み直してみよう。
q を動かす — 身体の状態を推論する。心拍が速いという信号から、「いま自分はこういう状態にある」という信念を作る。
\theta を動かす — 身体のモデルを学習する。この状況ではふつう心拍がこれくらいになる、という見込みを更新する。
x を動かす — 身体そのものを変える。ここが独自である。外界に対する能動的推論は、手を伸ばして物を掴むことだった。内界に対しては、意識して一つずつ命令しなくても内臓などの働きを調節する自律神経系を通じて、心拍や血圧や発汗を変えることになる。予測が当たるように、身体を動かしてしまうのである。
三つ目に、生理学の側からの呼び名がある。アロスタシス（allostasis）である（Sterling 2012）。ホメオスタシスが「ずれたら戻す」反応的な調節であるのに対し、アロスタシスは「ずれる前に先回りする」予測的な調節を指す。立ち上がる前に血圧を上げておく、食事の匂いでインスリンを出しておく—どれも、まだ起きていないことへの備えである。
ここがポイント
アロスタシスは、能動的推論の身体版である。
第3節で「予測が当たるように環境を変える」と述べたときの環境を、身体の内側に置き換えただけだ。式は同じ、変数の中身が違う。自由エネルギー原理の射程が広いというのは、こういう意味である。
情動を内受容の推論として読む
さて、ここからが本節の主題である。身体の内側から届く信号の原因を推論することから、情動（emotion）の感じが生まれるのではないか、という提案がある。Seth (2013) と Seth & Friston (2016) の内受容推論（interoceptive inference）である。
主張を素朴な形で書くとこうなる。心臓がどきどきしていることに気づく、というのは、内受容信号をそのまま感じ取っているのではない。「この状況では心拍がこうなるはずだ」という予測と、実際に届いた信号との差を、脳が処理した結果である。そして情動的な感じ（feeling）は、その推論の帰結として生じる。予測誤差は推論を更新する信号であって、情動そのものではない。
この発想には長い前史がある。19世紀末のジェームズ＝ランゲ説である。「悲しいから泣くのではなく、泣くから悲しい」—情動は身体変化の知覚であるという主張だった。内受容推論は、この末梢起源説を予測処理の言葉で書き直したものと見ることができる。
ただし一点、大事な違いがある。ジェームズ＝ランゲが考えたのは身体から脳への一方向の流れだった。内受容推論では、そこに脳から身体へ下る予測が加わる。身体の信号が要らなくなるわけではない—一方向の流れが、下る予測と上る誤差の循環に置き換わるのである。第1節の予測符号化を、相手を内臓にして考えればよい。
第3節の精度が、ここで効いてくる。内受容の予測誤差に高い精度が割り当てられれば、その信号は強く効く。低ければ無視される。「同じ心拍の乱れが、あるときは不安として感じられ、あるときは何も感じられない」ことの説明を、この重み付けに求める議論がある。不安や抑うつを内受容の精度の異常として捉えようとする臨床研究も、この線上にある—ただしまだ枠組みの提案の段階で、精度そのものを独立に測る手立てがあるわけではない。
読者に問いたい。この枠組みは、情動の何を説明したことになるだろうか。快・不快の軸だろうか。強さだろうか。それとも「怒り」と「恐れ」の区別だろうか。答えは節の終わりで検討する。
別の系譜 ── 情動は構成される
内受容を情動の中心に置く議論は、自由エネルギー原理だけのものではない。もう一つ、独立の系譜がある。
Barrett & Simmons (2015) と Barrett (2017) の構成主義的情動理論（theory of constructed emotion）である。出発点は、情動研究の積年の問題だった—「怒り」や「恐れ」に対応する固有の身体反応や、単一部位の活動パターン（指紋）は見つからない、というのがバレットらの読みである。
そこでバレットは順序を入れ替える。情動はまず身体の状態としてあり、それに名前が付くのではない。内受容の予測と、概念による分類とが組み合わさって、そのつど情動が構成されるのだと考える。同じ胸の高鳴りが、状況と概念に応じて「不安」にも「高揚」にもなる。個別の情動カテゴリは、生得的な種類ではなく、学習された分類の産物である。
解剖学的な見立ても提出されている。予測を送る側にあたるのは、脳の側面の深い溝の内側にある島皮質前部や、左右の大脳半球が向かい合う内側面にある帯状皮質の前部など、第4層の発達が乏しい領域だとする議論である。第1節で触れたとおり、フィードフォワードの投射は第4層に終わる。それが薄いということは、この領域が信号を受けるより送る側に向いている—という読み方になる。
自由エネルギー原理の帰結として構成主義的情動理論が出てくるわけではない。二つは別の動機から立てられた。だが予測処理という枠組みを共有しているので、話はよく噛み合う。共通言語の提供という、第7節で自由エネルギー原理について述べることになる効能が、ここにも見える。
分かっていないこと
節を閉じる前に、留保を三つ書いておきたい。第一に、階層の対応が緩い。内臓と脳を結ぶ神経の一つが迷走神経で、身体から脳へ信号を運ぶ向きの経路を求心路と呼ぶ。内受容の経路（迷走神経や脊髄からの求心路 → 脳幹 → 視床 → 島皮質後部 → 前部）が、理論の要求する「予測を下ろす経路」と「誤差を上げる経路」の分業に対応しているかは、確かめられていない。第1節の予測符号化について本章末のコラムで述べる留保が、そのまま当てはまる。むしろ外受容よりも証拠が薄い。
第二に、説明の的が定まっていない。さきほどの問いへの答えである。内受容推論が、快・不快や、眠気から強い興奮までの心身の活発さを表す覚醒度をどこまで説明できるかは、それぞれ確かめる必要がある。さらに「怒り」と「恐れ」といった情動カテゴリの区別は、推論という枠組みだけからは出てこない。バレットの理論では、この区別に概念による分類が関わると考える。いっぽうデコーディングの側からは別の絵が出ている。Horikawa ら (2020) は、視覚で誘発された情動の神経表現が高次元で分散的であり、快不快や覚醒度といった次元よりも、情動カテゴリのほうが構造をよく説明すると報告した。「カテゴリの指紋は無い」のか「単一部位を見る測り方では見えない」のかは、まだ決着していない。そして概念がどこから来るのかは、理論の外に置かれている—第4節の事前選好と同じ形の外注である。
第三に、測るのが難しい。内受容の感度は、心拍を数えさせる課題などで測られてきた。だがこの課題そのものの妥当性が疑われている。 得点が心拍数や課題時間、さらには「自分の心拍はこれくらいだろう」という思い込みと相関してしまう—つまり心拍を感じ取る能力を測っていない可能性がある（Zamariola ら 2018。これに対する反論もある）。何を測っているのかがはっきりしない量で理論を検証するのは、危うい作業である。
それでも、この方向が魅力的である理由は述べておきたい。情動は長く「認知とは別のもの」として扱われてきた。予測という一つの言葉で、知覚と情動を同じ舞台に乗せられるなら、それだけで見通しは変わる。問題は、見通しがよいことと、正しいことが別だという点にある—本章が繰り返す注意である。
6. マルコフブランケット
自由エネルギー原理には、もう一段抽象的な層がある。そもそも「自己」と「環境」の境界とは何か。
定義
系の状態を四つに分ける。連続値で表すなら、それぞれ成分をいくつか持つベクトルである（以下の条件付き独立性は、一成分ずつではなく、この四つの変数群のあいだに課す）。
- 内部状態 \mu — 系の内側（脳の状態）
- 外部状態 \eta — 系の外側（世界の状態）
- 感覚状態 s — 外から内への窓
- 作用状態 a — 内から外への窓
第2〜5節の記号との対応はこうである。s が感覚入力 x、\eta が外界の状態 z、\mu が信念 q にあたる。ただし \mu と q は同じ型のものではない。\mu は脳の状態を表す値であり、その値が外界についての分布 q を指定する（たとえば内部状態の値に分布の平均や分散を対応させる）と読むのである。この読み替えそのものが、あとで問題になる。
なおマルコフブランケットはもともと、確率変数の依存関係を図で表すグラフィカルモデルの語である。変数を表す点をノードといい、矢印が循環しない有向グラフでは、ある点に矢印を送る点が「親」、その点から矢印を受ける点が「子」で、「子の親」には同じ子へ矢印を送る別の点も含まれる。これらの値を知ると、その点の変数は残りの変数と条件付き独立になる—つまり、あるノードの親・子・子の親からなる集合が、そのノードを残りの世界から遮蔽する最小の集合である。自由エネルギー原理はこれを、系そのものの分割に読み替えている。同じ語で別のものを指しているので、Pearl や Bishop を引くときには注意がいる。
マルコフブランケットの条件は、内部と外部が s, a を介してのみ依存することである。第5章第1節の条件付き独立の言葉で言えば、s と a を固定したときに p(\mu, \eta \mid s, a) = p(\mu\mid s,a)\, p(\eta\mid s,a) と分かれることである。
\mu \perp \eta \mid \{s, a\}
「s と a を知ってしまえば、\mu と \eta は条件付き独立」—つまり内部状態は、感覚と作用を通してしか外界と関わらない。この式だけでは、s が「外から内へ」・a が「内から外へ」という向きは決まらないことに注意してほしい。式の中で s と a を入れ替えても、条件付き独立性は同じである。向きは、どちらがどちらに影響するかという動力学の側から別に与える必要がある。
何を言っているのか
これは統計的な独立性の条件にすぎない。だが Friston (2013) は、ここに「生きているものの境界」を見る。
自己と環境の境界は、物理的な膜ではなく、条件付き独立性の構造として定義される。細胞膜も、皮膚も、脳と身体の境界も、この構造の現れだ、という主張である。そしてマルコフブランケットを持つ系が、定常状態を保つためには自由エネルギーを最小化せざるをえない—という議論から、自由エネルギー原理が導かれる、とされる。
ここは段を分けて読むのが安全である。少なくとも四つのことが重ねられている。
- 静的な条件付き独立性（上の式）
- 動力学の構造—定常な密度が存在し、感覚と作用の向きが決まっていること。定常とは、個々の状態は動いていても、どの状態にどれくらい滞在するかを表す確率密度が時間とともに変わらないことをいう
- 変分的な読み替え—内部状態を「外界についての信念 q」として読むこと
- 経験的な主張—生物が実際にその計算をしていること
1 から 4 が一息に出てくるわけではない。2 には数学的な追加仮定が要り、3 は解釈であり、4 は実験で確かめるべきことである。この積み重ねをどう評価するかが、次節の論点である。
7. 批判的検討
第1章で持ち込んだ問いに戻ろう。一つの量を最小化すると書けたとき、脳の何が分かったのか。自由エネルギー原理は、この問いを最も広い範囲に押し広げる。以下では統一的な記述の利点を確かめたうえで、経験的な説明として何が必要かを考える。
支持する立場
統一性
知覚・学習・行動・注意を一つの量の最小化として捉える。この広い射程が、理論の大きな魅力である。
既存理論を含む。予測符号化、ベイズ脳仮説、強化学習の一部が、自由エネルギー原理の特殊な場合として位置づけられる。
AI との連続性
本書で辿ったとおり、ヘルムホルツマシンから VAE への系譜と数学的に地続きである。脳とAIを同じ言葉で語れる。
批判する立場
反証可能性の問題
これがもっとも重い批判である。
「自由エネルギーを最小化している」という主張は、何を観測しても後づけで説明できてしまうのではないか。ある行動が観測されたら「その行動が自由エネルギーを下げたのだ」と言える。逆の行動が観測されても、生成モデルを適当に設定すれば同じことが言える。この批判が向けられているのは、前節の 1〜2（条件つきの数学的な結果）そのものではなく、仮定の広さと、そこから出てくる独自の予測の少なさである。
Popper 流に言えば、あらゆることを説明する理論は、何も予測しない。批判者はここを突く。
この問題は自由エネルギー原理に限らない。Bowers と Davis (2012) はベイズ的な認知モデルについて、事前分布・尤度・効用を観測結果に合わせて動かせば、さまざまな行動を「最適」と説明できてしまうと批判した。これをそのまま自由エネルギー原理への反証とすることはできないが、モデルの置き方をどこまで結果と独立に決めたか、という問いは共通する。生成モデルや好みをある条件で決め、別の条件でも予測が通るかを確かめる。代わりの仕組みでも同じ結果が出るなら、両者の予測が分かれる実験を作る。「下がったはずの量」を後から探すだけでは、この段階に届かない。
具体的な予測の少なさ
理論から演繹される、他の理論と区別できる予測がどれだけあるか。予測符号化のレベルまで降りれば検証可能な予測が出る（誤差ユニットの存在など）が、それは自由エネルギー原理でなく予測符号化の予測である。
「原理」という言葉の強さ
数学的には、マルコフブランケットを持つ定常な系についての記述は、ほとんどトートロジーに近いという指摘がある。「定常状態を保つ系は、そう振る舞うように見える」というだけではないか、と。
一つの量と、寄せ集めの仕組み
Ramachandran の「手品の袋」を、ここで思い出してほしい。用途別の仕組みの集まりでも、その振る舞いを共通の目的関数で近似できる場合はある。だが、同じ量が減るという記述から、すべての仕組みが同じ計算をしているとは言えない。Piantadosi の議論（第9章）も同じ境界を別の側から照らす。学習目標の簡潔さは、獲得された能力や、それを生む内部の仕組みの簡潔さを保証しない。
配線についても同様である。Fakhar と Astle (2026) が強調するように、脳の構成には、複数の要求の折り合いと、進化・発達の制約がある。これらを一つの式にまとめること自体はできても、項の選び方や重みが脳のどこから決まるのかは残る。自由エネルギー原理のもとで歴史や制約を生成モデルや事前の好みに含めるなら、その中身を別に調べる仕事は省けない。
だから、脳の配線が一つの指標で非最適であることは、自由エネルギー原理全体の反証ではない。逆に、多くの振る舞いを自由エネルギーの言葉に翻訳できることも、脳が単一の最適化装置である証明ではない。この往復を取り違えると、美しい統一が、何を見ても正しい説明に変わってしまう。
本書の立場
判定を下すことはしない。だが読者に持ち帰ってほしい視点を一つ述べる。
理論の価値は「正しいか」だけで測るものではない。自由エネルギー原理が果たしてきた役割は、むしろ共通言語の提供にある。予測符号化と強化学習と変分推論を同じ枠組みで語れるようになったこと自体が、研究の進め方を変えた。
同時に、共通言語であることと、経験的に検証されていることは別である。この区別を保ったまま使うのが、健全な態度だろう。そして—次章で扱う「表現は収束するのか」という問いにも、まったく同じ構造の危うさがある。壮大な主張ほど、何を測れば反証できるのかを先に決めておかねばならない。
確認問題
［導出］変分自由エネルギー F を ELBO \mathcal{L} から定義し、F \ge -\log p_\theta(x) を示せ。（第2節・第14章第3節）
［導出］F = \mathbb{E}_q[E] - H[q] という分解を導き、E = -\log p_\theta(x,z) と第7章のギブス分布の関係を述べよ。（第2節・第7章第3節）
［導出］Rao–Ballard の更新則を、誤差の二乗和 \frac{1}{2}\sum_i \|e_i\|^2 の勾配降下として導け。第一項と第二項が、それぞれ回路のどの向きの信号に対応するかを述べよ。（第1節）
［導出］期待自由エネルギー G(\pi) を二つの項に分解し、情報利得の項が負号で入ること—つまりそれを大きくすると G が下がること—を示せ。（第4節）
［確認］自由エネルギー原理における三つの最小化（q・\theta・x を動かす）が、それぞれどの機能に対応するかを述べよ。（第3節）
［確認］三つの最小化を内受容に当てはめると、それぞれ何をすることになるか。アロスタシスはそのどれに対応するか。（第5節・第3節）
［考える］内受容推論は、情動の何を説明しようとしていて、何がまだ確かめられていないか。本文の三つの留保を踏まえて述べよ。（第5節）
［考える］自由エネルギー原理への反証可能性の批判を、自分の言葉でまとめよ。またそれに対する反論として何が言えるか。（第7節）
参考文献
Bowers, J. S., & Davis, C. J. (2012). Bayesian just-so stories in psychology and neuroscience. Psychological Bulletin, 138(3), 389–414. https://doi.org/10.1037/a0026450 — 事前分布・尤度・効用の後づけによる最適性説明への批判［7節］
Fakhar, K., & Astle, D. E. (2026). Embracing the suboptimal organization of the human brain. Trends in Cognitive Sciences. https://doi.org/10.1016/j.tics.2026.04.008 — 単一目的の最適設計という脳観を問い、複数の要求と制約から配線を捉える議論［7節］
Ramachandran (1985) は第1章、Piantadosi (2024) は第9章の参考文献を参照［7節］
Rao, R. P. N., & Ballard, D. H. (1999). Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, 2(1), 79–87. https://doi.org/10.1038/4580 — 予測符号化の原典。受容野の外からの影響をどう説明したかを見る［1節］
Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews Neuroscience, 11(2), 127–138. https://doi.org/10.1038/nrn2787 — 原理としての定式化。三つの最小化はここ［3節］
Parr, T., Pezzulo, G., & Friston, K. J. (2022). Active Inference: The Free Energy Principle in Mind, Brain, and Behavior. MIT Press. https://doi.org/10.7551/mitpress/12441.001.0001 — 能動的推論の教科書。期待自由エネルギーの計算を追うなら［4節］
Friston, K., Thornton, C., & Clark, A. (2012). Free-energy minimization and the dark-room problem. Frontiers in Psychology, 3. https://doi.org/10.3389/fpsyg.2012.00130 — 暗い部屋の問題への当事者からの応答［4節］
Seth, A. K. (2013). Interoceptive inference, emotion, and the embodied self. Trends in Cognitive Sciences, 17(11), 565–573. https://doi.org/10.1016/j.tics.2013.09.007 — 内受容推論の提案。情動と自己感覚を予測の言葉で書き直す［5節］
Seth, A. K., & Friston, K. J. (2016). Active interoceptive inference and the emotional brain. Philosophical Transactions of the Royal Society B: Biological Sciences, 371(1708), 20160007. https://doi.org/10.1098/rstb.2016.0007 — 上を自由エネルギー原理の枠組みに正式に接続した論文［5節］
Sterling, P. (2012). Allostasis: a model of predictive regulation. Physiology & Behavior, 106(1), 5–15. https://doi.org/10.1016/j.physbeh.2011.06.004 — 予測的な調節という考え方。生理学の側から読む能動的推論［5節］
Barrett, L. F., & Simmons, W. K. (2015). Interoceptive predictions in the brain. Nature Reviews Neuroscience, 16(7), 419–429. https://doi.org/10.1038/nrn3950 — 構成主義的情動理論の解剖学的な骨組み［5節］
Zamariola, G., Maurage, P., Luminet, O., & Corneille, O. (2018). Interoceptive accuracy scores from the heartbeat counting task are problematic: evidence from simple bivariate correlations. Biological Psychology, 137, 12–17. https://doi.org/10.1016/j.biopsycho.2018.06.006 — 内受容の測り方への批判。理論を検証する土台が揺れていることを見るために［5節］
Barrett, L. F. (2017). The theory of constructed emotion: an active inference account of interoception and categorization. Social Cognitive and Affective Neuroscience, 12(1), 1–23. https://doi.org/10.1093/scan/nsw154 — 情動が構成されるという主張の本体。予測と概念の組み合わせ［5節］
Friston, K. (2013). Life as we know it. Journal of The Royal Society Interface, 10(86), 20130475. https://doi.org/10.1098/rsif.2013.0475 — マルコフブランケットから自由エネルギー原理を導く議論。第7節の批判はここに向けられている［6節］
Horikawa, T., Cowen, A. S., Keltner, D., & Kamitani, Y. (2020). The neural representation of visually evoked emotion is high-dimensional, categorical, and distributed. iScience, 23(5), 101060. https://doi.org/10.1016/j.isci.2020.101060 — 情動カテゴリのデコーディング［5節］