発展編B　学習と測定の条件

式が解けるのは、どんな条件のおかげなのか。計算できた数を、どこまで対象の性質と読んでよいのか。本文で使った式を、この二つの問いから確かめる。記号は各項で定義し直す。

出典の書誌と本文での使いどころは、第7章、第9章、第10章、第11章、第12章の各章末にまとめてある。各項で挙げた著者名・年から参照できる。

B.1 学習則を分布の幾何で読む

読む前に：第7章第5節。

ここで確かめること：同時活動の平均を合わせる学習が、分布のあいだの操作になる理由。

ユニットの状態を s_i\in\{0,1\} とし、対称な結合を各辺一度ずつ数える。ボルツマンマシンの分布は

p(s)=\frac{1}{Z}\exp\left(\sum_{i<j}w_{ij}s_is_j+\sum_i b_i s_i\right)

である。w_{ij} は重み、b_i はバイアス、Z は全状態の確率の和を1にする定数だ。状態から計算する量 s_is_j や s_i と、パラメータの積が指数関数の肩に並ぶ。この形の分布の集まりを指数型分布族という。

まず全ユニットが観測される場合を考える。本文の重みの更新を止める条件は、データとモデルで s_is_j の平均が一致することだった。幾何の言葉では、一つ一つの分布を点と見なし、データから測った平均を満たす分布の集まりを考える。「射影」は、その集まりへ KL の意味で近づける操作である。普通の図形に垂線を下ろす操作ではない。KL は向きによって値が違うので、どちらをどちらへ近づけるかも指定する必要がある。

Amari、Kurata、Nagaoka (1992) は、正相と負相を二種類の射影として定式化した。ここでは、平均を合わせる一本の学習則に、分布の集まりのあいだを動くという読み方もあることを押さえよう。第11章の計量、第16章の自由エネルギーへ続く入口である。隠れユニットがある場合の正相は、可視ユニットをデータに固定した条件付き分布で平均する。隠れた同時活動まで直接観測するという意味ではない。

B.2 NTK の解を行列に戻す

読む前に：第9章第5節。

ここで確かめること：一つの方向で解いた誤差の減衰を、全訓練点についてまとめる。

訓練点が M 個、パラメータが P 個あるとする。出力を並べた列が \mathbf f\in\mathbb R^M、正解が \mathbf y。各出力のパラメータ微分を行に並べた行列を J_\theta\in\mathbb R^{M\times P} とすれば、NTK 行列は \Theta=J_\theta J_\theta^\top である。二乗誤差の勾配流は

\frac{d\mathbf f}{dt}=-\Theta(\mathbf f-\mathbf y)

となる。ここでは無限幅の条件のもとで、\Theta が学習中に変わらない場合を扱う。対称な半正定値行列なので、\Theta=U\operatorname{diag}(\lambda_1,\ldots,\lambda_M)U^\top と分解できる。U の列は長さ1の互いに直交する固有ベクトルで、\lambda_i\ge0 は固有値だ。

各方向の誤差は、本文のとおり e_i(t)=e_i(0)e^{-\lambda_i t}。元の座標に戻すと

\begin{aligned} \mathbf f(t)&=\mathbf y+e^{-\Theta t}(\mathbf f(0)-\mathbf y),\\ e^{-\Theta t}&=U\operatorname{diag}(e^{-\lambda_1t},\ldots,e^{-\lambda_Mt})U^\top. \end{aligned}

となる。行列指数関数は、各成分を別々に指数関数へ入れたものではない。固有方向ごとに縮め、元へ戻す行列である。大きな固有値の方向ほど速く減り、ゼロの方向の誤差は減らない。有限幅で \Theta が動けば、この定数行列による解をそのまま使うことはできない。出典は Jacot ら (2018)。

B.3 深層線形ネットワークの S 字を解く

読む前に：第9章第6節。

ここで確かめること：二層・一モードの立ち上がりを、微分方程式の解で確かめる。

入出力相関 \mathbb E[\mathbf y\mathbf x^\top] の特異値を s>0 とする。一つの特異値に対応する入力方向と出力方向の組が、一つのモードである。入力は平均ゼロ、共分散が単位行列となるよう白色化し、各層の初期重みは特異方向に沿って大きさをそろえる。この条件で、モードどうしの干渉がなくなる。

二層の重みの積を a とすると、学習は \tau\dot a=2a(s-a) に従う。\tau>0 は時間の尺度である。0<a_0=a(0)<s として変数を分ければ、

\frac{da}{a(s-a)}=\frac{2}{\tau}dt,\qquad \frac1s\log\frac{a}{s-a}=\frac{2t}{\tau}+C

となる。C は初期値で決まる積分定数だ。t=0 の値を差し引き、a について解く。

a(t)=\frac{s}{1+(s/a_0-1)e^{-2st/\tau}}

小さな正の a_0 から始めると、長い立ち上がりのあと速く増え、s に近づくと再び遅くなる。これが本文の S 字である。a_0=0 なら動き出さないので、「小さい」と「ゼロ」は違う。

層数を L にすると、同じく特異方向に沿う釣り合った正の重みでは \tau\dot a=L a^{2-2/L}(s-a) となる。L=1 では単なる指数緩和である。線形な入出力写像でも、重みの積を学ぶ時間経過は深さで変わる。ただし任意の初期値から全モードが独立に動くわけではない。Saxe ら (2019) の模型と子どもの発達の比較は、この条件の違いを踏まえて読む必要がある。

B.4 方策勾配を試行全体から導く

読む前に：第10章第4節。

ここで確かめること：過去の報酬が消え、最後に \gamma^t が残る理由。

状態 s_t で行動 a_t を方策 \pi_\theta(a_t\mid s_t) から選び、報酬 r_t を得る。割引率を 0\le\gamma<1、収益を G_t=\sum_{k\ge0}\gamma^kr_{t+k} とし、J(\theta)=\mathbb E[G_0] を最大化する。初期状態と環境の遷移・報酬は \theta に依存せず、微分と期待値の交換が可能で、対数微分を使う確率は正とする。

試行の系列を \tau、その確率または密度を p_\theta(\tau) と書く。\nabla p=p\nabla\log p を使えば

\nabla_\theta J =\int p_\theta(\tau)G_0(\tau)\nabla_\theta\log p_\theta(\tau)\,d\tau =\mathbb E\left[G_0\sum_t\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

となる。離散的な系列なら積分は和に読み替える。軌道の確率は初期状態、方策、環境の確率の積だから、対数を取ると和になる。微分で残るのは \theta を含む方策だけだ。

時刻 t の行動を選ぶ直前までの履歴を固定し、行動だけについて平均すると、

\sum_a\pi_\theta(a\mid s_t)\nabla_\theta\log\pi_\theta(a\mid s_t) =\nabla_\theta\sum_a\pi_\theta(a\mid s_t)=0

である。履歴に含まれる過去の報酬を掛けてもゼロのまま。したがって G_0 のうち t より前の報酬は期待値の中で消え、残るのは \sum_{k\ge t}\gamma^kr_k=\gamma^tG_t である。

\nabla_\theta J=\mathbb E\left[\sum_t\gamma^tG_t\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right]

一回の試行で過去の項がゼロになるわけではない。条件付きで平均したときに消える。\gamma^t を落とした更新は、一般にはこの J の勾配ではなく、別の目的関数の勾配になるとも限らない。Sutton と Barto (2018) の定義と照合するときも、割引をどこから数えるかを確かめよう。

B.5 距離から座標へ戻す条件

読む前に：第11章第3節。

ここで確かめること：二重中心化が何を復元し、何を復元しないか。

M 個の点 \mathbf r_i のユークリッド距離を d_{ij}、内積を G_{ij}=\mathbf r_i^\top\mathbf r_j とする。d_{ij}^2=G_{ii}-2G_{ij}+G_{jj} だから、距離の二乗の行列は内積行列と行・列ごとの項に分かれる。平均を引く行列 C=I-\mathbf1\mathbf1^\top/M を左右から掛けると、後者が消える。

G_c=-\frac12 CD^{(2)}C=CGC

I は M 次の単位行列、\mathbf1 は成分がすべて1の列、D^{(2)} は距離の各成分を二乗した行列であり、行列積 DD ではない。戻るのは平均を引いた点のグラム行列 G_c である。距離は全体を平行移動しても変わらないので、元の絶対位置は戻せない。

G_c=U\Lambda U^\top と固有値分解する。正の固有値を k 個残した対角行列が \Lambda_k、対応する固有ベクトルを列に並べたものが U_k なら、U_k\Lambda_k^{1/2} の各行が刺激の座標になる。正の固有値をすべて使えば元の距離を再現できるが、少数の軸だけなら一般には近似である。軸の回転や反転も距離からは決まらない。

一般の非類似度に計算を施して負の固有値が出たなら、その値をそのままユークリッド距離として再現する配置はない。相関係数 r から作る 1-r を距離と読むか二乗距離と読むかでも結果は変わる。図でまとまって見えることと、元の非類似度を正確に保つことを分けてほしい。

B.6 必要条件と十分条件を使い分ける

読む前に：第12章第5節・第7節。

ここで確かめること：少数の条件が通っただけでは、加法表現や距離表現を保証できない理由。

明るさを強度 a と提示時間 p の和 \phi_A(a)+\phi_P(p) で表せるなら、独立性と二重キャンセレーションは必ず成り立つ。本文の3×3の反例は、独立性だけが通っても和では表せないことを示した。必要条件が破れれば表現を否定できるが、通っただけでは足りない。

存在を保証する一つの道が、Krantz ら (1971) の加法的結合構造である。弱順序、独立性、トムセン条件（二重キャンセレーションの等号版）に加えて、範囲内の目標と釣り合う刺激を作れる制限つき可解性、一定の比較刻みを有限の範囲に無限に詰め込めないアルキメデス性、両因子が判断に効くという条件を置く。この組は十分条件であって、すべてが必要なわけではない。

その条件下では、尺度は

\phi_A'=\alpha\phi_A+\beta_A,\qquad \phi_P'=\alpha\phi_P+\beta_P,\qquad \alpha>0

を除いて一意になる。原点は別々に動かせるが、単位の倍率は共通である。

有限個の刺激では、比較をさらに多く組み合わせた高次のキャンセレーションも問題になる。構造の豊かさを仮定しなければ、低次の条件から高次の条件は一般には出ない。すべての大きさの有限集合に一律に効く有限個のキャンセレーション条件はない。ただし、固定された一つの実験表と加法表現の両立を調べられない、という意味ではない。

距離表現にも同じ注意が要る。対象の組に対する非類似度の順序を、座標間の距離の大小で表したいとする。対象が二つでも、違いに効く次元は色・形など複数ありうる。各次元に分けられること、各寄与が座標の差で決まること、寄与を足せることを仮定しても、得られるのは加法的差モデルまでである。ミンコフスキー形式

d_r(\mathbf x,\mathbf y)=\left(\sum_i|x_i-y_i|^r\right)^{1/r},\qquad r\ge1

へ絞るには、距離の側にも、どの向きへ、どの場所から測っても同じだけ進めるという等質性などの条件が要る。Beals ら (1968) の公理的な検討でも、指数 r は自動的に決まらない。差が3と4なら r=2 で5、r=1 で7になる。どちらを使うかは、点を描けるかではなく、観察された関係をどちらが保つかという問いである。

B.7 読み出しが保つもの

読む前に：第12章第10節・第13章第5節。

ここで確かめること：読み出しと刺激変化の対応は、重みの角度では決まらない。

V 個の応答を並べた列を \mathbf r、重みを \mathbf w、刺激の K 個の変数の微小変化を応答へ写すヤコビアンを J\in\mathbb R^{V\times K} とする。刺激を \delta だけ動かしたときの読み出しの変化は、近似的に \mathbf w^\top J\delta である。

可逆行列 T で \mathbf r'=T\mathbf r と変え、\mathbf w'=T^{-\top}\mathbf w と重みも付け替える。T^{-\top} は逆行列の転置だ。J'=TJ なので、

\mathbf w'^\top J'=\mathbf w^\top T^{-1}TJ=\mathbf w^\top J

となる。保たれるのはこの組み合わせである。J の像は刺激が動かせる応答方向、読み出しの核は重みを掛けてもゼロになる方向だ。この二つの交わりは、刺激を変えても読み出しが気づかない方向を表す。

一般の可逆変換は角度を保たない。したがって、重みと像のなす角度を、この不変性の代わりに使うことはできない。また、重みの付け替えを許した結果であることも忘れないでほしい。座標に依存する正則化を固定して再学習した場合の精度や、下流の回路が実際に何を使うかは、別に確かめる必要がある。