発展編C 変換と生成を確かめる
同じ矢印を別の物差しで測ること、ノイズから画像へ分布を運ぶこと。どちらも「変換」の話だが、何を動かし、何を保つかは違う。本文で通った道に戻り、式の成立条件を確かめよう。各項は、冒頭に示した本文を読んだあと、必要なところだけ使える。
C.1 添字と計量
読む前に：第13章第5節、第11章第4〜5節。
ここで確かめること：添字の上げ下げが、矢印と読み出しを結ぶ操作になる理由。
実ベクトル空間 V の基底を e_1,\ldots,e_n とする。矢印 v を v=\sum_i v^ie_i と書いたとき、上付きの i は累乗ではなく成分の番号である。新しい基底を e'_j=\sum_iA^i_je_i で定めよう。A は可逆な n\times n 行列で、A^i_j は第 i 行・第 j 列の成分だ。同じ矢印を表すには、成分の列は v'=A^{-1}v と逆向きに変わる。これが反変だった。
一方、線形汎関数 \omega:V\to\mathbb{R} は、矢印から一つの数を読み出す操作である。この操作の集まりが双対空間 V^* だ。基底を入力したときの値を \omega_i=\omega(e_i) とすると、
\omega'_j=\omega(e'_j) =\omega\left(\sum_iA^i_je_i\right) =\sum_iA^i_j\omega_i.
最後の等号で線形性を使った。重みを行に並べれば \omega'=\omega A であり、基底と同じ向きに変わるので共変と呼ぶ。上と下を組にして足すと、
\omega(v)=\sum_i\omega_iv^i
は基底の選び方によらない。行列表示なら (\omega A)(A^{-1}v)=\omega v と、二つの変化が打ち消し合う。
では、矢印から読み出しを作るには何が要るだろうか。V に内積を決め、矢印 v を固定して u\mapsto\langle v,u\rangle とすればよい。対応する読み出しの成分を v_i=\langle v,e_i\rangle と書くと、
v_i=\sum_jM_{ij}v^j, \qquad M_{ij}=\langle e_i,e_j\rangle.
内積の対称性を使った。行列 M が計量であり、掛ける操作を「添字を下げる」と呼ぶ。逆行列の第 i 行・第 j 列を M^{ij} と書けば、v^i=\sum_jM^{ij}v_j が「添字を上げる」操作になる。M^{ij} は M_{ij} 一個の逆数ではない。
斜めの物差しで数を入れよう。e_1,e_2 は長さ1で、なす角が60度とする。すると
M=\begin{pmatrix}1&1/2\\1/2&1\end{pmatrix}.
v=e_1 の上付き成分は (1,0) だが、下付き成分は (1,1/2) になる。後者の第二成分は、e_2 の向きに落とした影の長さである。e_1 自体を作るのに e_2 を足す必要はなくても、その向きに影は落ちる。展開の係数と、内積で読み出す値は別なのだ。互いに直交する長さ1の基底では M=I なので、数値だけを見ても違いが表れない。
第11章の J^\top J も同じ役をした。刺激の微小変化 \delta は応答側で J\delta となり、その長さの二乗は \delta^\top J^\top J\delta になる。ただし、内積として両側を行き来するには J の列が一次独立でなければならない。階数が落ちると J^\top J は半正定値で、逆行列を持たない。一次近似で見えない方向があることと、情報が完全に消えたことも区別しよう。刺激によらない正定値の共分散 \Sigma を持つ加法ガウスノイズの場合、フィッシャー情報行列は J^\top\Sigma^{-1}J となる。この行列を逆にして使うにも、J の列の一次独立性が必要になる。
C.2 商群の作り方
読む前に：第13章第6節。
ここで確かめること：「同じ先に写る操作をまとめる」だけで、なぜ群ができるのか。
群準同型 f:G\to H の核を K=\ker f と書こう。K は H の単位元へ写る元の集まりである。g\in G に核の元 k を掛けても、f(gk)=f(g)f(k)=f(g) なので行き先は変わらない。同じ先に写る元を集めた集合
gK=\{gk\mid k\in K\}
を剰余類という。g 一個と集合 gK を同一視するのではなく、その集合の中の元を区別しない、と読む。
剰余類を要素とする集まりに、(gK)(hK)=(gh)K という積を入れたい。ここで困るのは、代表に選んだ g,h を替えても答えが変わらないか、という点である。それを保証するのが核の正規性、すなわち、どの h についても hKh^{-1}=K となる性質だ。核の元を h と h^{-1} で挟んでも、準同型で写せば単位元になるので、核から出ないのである。
こうしてできる群が商群 G/K であり、gK\mapsto f(g) によって像 \mathrm{Im}\,f と一対一に対応する。この対応は積も保つ。これが第一準同型定理
G/\ker f\cong\mathrm{Im}\,f
の中身である。回転角を二倍にする表現なら、元の角度を180度変えても同じ先へ写る。その区別をまとめたあとに残る構造が、像と一致する。
何を捨てたかが、何を残すかに結びつく。ただし画像から特徴を取り出す一般の写像に、この定理をそのまま適用してはいけない。入力と出力に群の演算があり、写像がそれを保つ、という前提が必要である。
C.3 拡散を連続時間で書く
読む前に：第15章第6〜7節。微分方程式の読み方は第2〜3章。
ここで確かめること：逆向きの時間での符号と、確率的な動きと決定的な動きの「同じ」の意味。
画像の成分を x\in\mathbb{R}^n に並べる。短い時間 h>0 の変化を、いまの状態から決まる動きと、新しいノイズに分ける。
x(t+h)-x(t)\approx f(x(t),t)h+g(t)\sqrt{h}\,\xi, \qquad \xi\sim\mathcal{N}(0,I).
f\in\mathbb{R}^n は速度、g(t)\ge0 はノイズの強さ、I は n 次元の単位行列で、\xi は一歩ごとに独立に引く。なぜ h でなく \sqrt h なのだろうか。分散を経過時間に比例させるためである。
このランダムな動きを連続時間で積み上げたブラウン運動を w(t) と書く。増分 w(t+h)-w(t) は平均0・共分散 hI の正規分布に従い、重ならない時間区間の増分は独立である。通常の意味での速度 dw/dt は存在しないので、増分 dw のまま使う。前向きの確率微分方程式は
dx=f(x,t)\,dt+g(t)\,dw
となる。第一項が決定的な動き、第二項が揺らぎだ。
時刻 t の画像の密度を p_t(x) とする。これは一枚の元画像を固定した条件付き密度ではなく、データ全体にノイズを加えた周辺密度である。以下は、使う領域で密度が正で滑らかであり、逆時間の過程や方程式の解に必要な正則性が満たされる場合の式の読み方である。任意の速度や密度について存在を保証するものではない。
Song ら (2020) の定式化では、逆時間の過程に周辺スコア \nabla_x\log p_t(x) が現れる。
dx=\left[f(x,t)-g(t)^2\nabla_x\log p_t(x)\right]dt +g(t)\,d\bar w.
この式は T から0へ向かって積分する。正の幅 h だけ戻るなら dt=-h なので、スコアの寄与は +g(t)^2h\nabla_x\log p_t(x) となる。密度が増える方向へ補正しているのだ。\bar w は逆向きの時間でのブラウン運動であり、一歩のノイズは新しく引く。前向きに足したノイズを記録して引き返す操作ではない。
同じ各時刻の分布を作る、ノイズ項のない方程式もある。
\frac{dx}{dt}=f(x,t)-\frac12g(t)^2\nabla_x\log p_t(x).
これを確率フローの常微分方程式と呼ぶ。出発点を p_T からランダムに選ぶが、そこを決めれば、その後の動きは決まる。「同じ」なのは各時刻の周辺分布であって、一本ずつの軌道ではない。この違いを落とすと、ノイズを加える動きと加えない動きが同じだという、不思議な主張になってしまう。
右辺を速度場 v(x,t) と呼ぼう。十分な滑らかさがあり解が一意に定まって逆向きにも進められるなら、第15章第4節の可逆なフローとつながる。軌道に沿った対数密度の変化は
\frac{d}{dt}\log p_t(x(t)) =-\mathrm{tr}\left(\frac{\partial v}{\partial x}\right).
右辺の跡 \mathrm{tr} は、速度場のヤコビアンの対角成分を足したものだ。小さな体積が膨らめば密度は下がるので、負号が付く。時間について積分した跡が、離散的な変数変換での「体積倍率の対数」に対応する。尤度を得られるとしても、数値積分や跡の推定の精度は別に確かめなければならない。
C.4 移動の速度を学ぶ
読む前に：第15章第8節、発展編C.3。
ここで確かめること：直線で学習しても、生成される軌道が直線とは限らない理由。
Flow Matching（Lipman ら 2022）は、途中の位置に速度を割り当てる。ここでは拡散と時刻の約束が逆で、x_0 がノイズ、x_1 がデータである。両端をそれぞれの分布から独立に引き、時刻 t を独立に [0,1] から一様に選ぼう。直線で結べば、
x_t=(1-t)x_0+tx_1,\qquad \frac{dx_t}{dt}=x_1-x_0.
いろいろな組の線を同じ時刻で切った点の集まりが、その時刻の分布になる。この分布の移り変わりを確率パスと呼び、個々の線とは区別する。
位置と時刻から速度を予測するネットワーク v_\theta(x,t)\in\mathbb{R}^n を、二乗誤差で学習する。
L=\mathbb{E}_{t,x_0,x_1} \left[\|v_\theta(x_t,t)-(x_1-x_0)\|^2\right].
同じ位置と時刻を複数の線が通りうる。二乗誤差の最小値を与えるのは、その場所での速度の条件付き平均
v^*(x,t)=\mathbb{E}[x_1-x_0\mid x_t=x,t]
である。各組では速度が一定でも、平均する組の顔ぶれが位置と時刻で変わるので、学んだ速度場まで一定にはならない。目的関数を小さくすることと、生成時の軌道が直線になることを分けよう。両端の分布が同じでも、組の選び方が違えば学ぶ速度場は変わる。
Rectified Flow（Liu ら 2022）は、学んだモデルで両端の組を作り直して再学習し、生成経路を直線に近づけることを狙う。経路上で速度の変化が小さければ、少ない刻みでも進めやすい。速さは「直線を教師にした」という形だけから自動的に得られる保証ではない。
C.5 期待自由エネルギーを組み替える
読む前に：第16章第4節、第5章第3〜4節。
ここで確かめること：「選好からの隔たり−情報利得」と「リスク＋あいまいさ」の関係。
方策 \pi のもとでの観測 x と状態 z の予測分布を q(x,z\mid\pi)、選好する観測の分布を p(x) とする。本文では、
G(\pi)=\mathbb{E}_{q(x,z\mid\pi)} [\log q(z\mid\pi)-\log p(x,z)]
を二つに分けた。p(z\mid x) を q(z\mid x,\pi) と同一視する近似のもとでは、本文で情報利得と呼んだ項を、予測分布での相互情報量 I_q(x;z\mid\pi) と読める。以下は離散の場合であり、期待値や対数が定義されることを仮定する。
\begin{aligned} G(\pi) &\approx-\mathbb{E}_{q(x\mid\pi)}\log p(x) -I_q(x;z\mid\pi)\\ &=\mathrm{KL}\big(q(x\mid\pi)\|p(x)\big) +H[q(x\mid\pi)]-I_q(x;z\mid\pi)\\ &=\mathrm{KL}\big(q(x\mid\pi)\|p(x)\big) +\mathbb{E}_{q(z\mid\pi)}H[q(x\mid z,\pi)]. \end{aligned}
二行目では、交差エントロピーを KL と予測エントロピーに分けた。三行目では、相互情報量が「観測のエントロピーから、状態が分かっても残る観測のエントロピーを引いたもの」であることを使った。予測エントロピーが打ち消され、最後の二項が残る。
最後の KL がリスク、条件付きエントロピーの平均があいまいさである。交差エントロピーだけをリスクと呼び替えたのではない。本文の0.8の二値例でも、二つの束ね方は同じ値になる。情報利得を引く側に入れたことと、あいまいさを足す側に入れたことが矛盾しない理由を、打ち消された項に戻って確かめてほしい。
C.6 調節器の定理の条件を分ける
読む前に：第17章第2節。
ここで確かめること：完全な制御での単射性と、一般の良い調節器定理を混ぜないこと。
有限通りの外乱 D と手 R から、結果 Z=\phi(D,R) が決まるとしよう。同じ手なら違う外乱が違う結果を生むという単射の仮定から、本文では
H(Z)\ge H(D)-H(R)
を得た。さらに、外乱を直接知って決定的に手を選ぶ R=\rho(D) とすると、H(R)\le H(D) でもある。結果を完全に一定にして H(Z)=0 にするなら二つを合わせて H(R)=H(D)。したがって、実際に起こりうる外乱を \rho は取り違えられない。違う外乱に同じ手を打つと、仮定により違う結果になるからだ。
ただし H(Z)=0 は、結果が望ましいという意味ではない。いつも同じ高熱でもゼロになる。必要多様性の法則（Ashby 1956）で縛っているのは、まず結果のばらつきである。
Conant と Ashby (1970) は、先ほどの単射の仮定を置かない一般的な設定で、結果のエントロピーを最小にする調節器を扱った。その中で最も単純なものは、系の状態から調節器の状態への決定的な写像になる、という結論である。最適な調節器がすべてその形だという主張ではない。
この写像は一対一とは限らない。同じ手でよい状態をまとめる余地がある。原論文の要旨は「同型」という語を使うが、本文では関係の一般の写像へ緩めることも論じている。先ほどの単射性と食い違うように見えたら、設定に戻ってほしい。単射の仮定のもとで完全な制御を要求した話と、その仮定を置かない最適化の話が並んでいたのである。
いずれの場合も、「モデル」は制御の中にある対応であって、未来を頭の中で走らせるシミュレータを保証しない。外乱を直接観測できない場合の推論も、この対応だけでは与えられない。同じ「モデル」という言葉で、定理が保証するものを増やしてしまわないようにしよう。
参考文献
- Song, Y., et al. (2020). Score-based generative modeling through stochastic differential equations. arXiv:2011.13456. 原文 ［C.3］
- Lipman, Y., et al. (2022). Flow matching for generative modeling. arXiv:2210.02747. 原文 ［C.4］
- Liu, X., Gong, C., & Liu, Q. (2022). Flow straight and fast: learning to generate and transfer data with rectified flow. arXiv:2209.03003. 原文 ［C.4］
- Parr, T., Pezzulo, G., & Friston, K. J. (2022). Active Inference: The Free Energy Principle in Mind, Brain, and Behavior. MIT Press. 原文 ［C.5］
- Ashby, W. R. (1956). An Introduction to Cybernetics. Chapman & Hall. ［C.6］
- Conant, R. C., & Ashby, W. R. (1970). Every good regulator of a system must be a model of that system. International Journal of Systems Science, 1(2), 89–97. 原文 ［C.6］