3 ネットワークのダイナミクス ── 固定点・振動・分岐

前章の主役は一個のニューロンだった。だが皮質の 1 mm 角には、げっ歯類なら10万個規模のニューロンが詰まっている。一個ずつ方程式を書いていては、扱えない。

そこで水準を上げる。集団をひとまとめにして、「この集団の平均的な発火率」という一つの変数で記述する。1972年に Wilson と Cowan が提案したこのやり方は、いまも集団活動を語る標準的な言語である。そして驚くべきことに、数学は変わらない。記述の対象が細胞から集団へ移っても、\tau\,dx/dt = -x + (\text{入力}) という形は生き延びる。

本章では、この縮約された方程式から振動とアトラクターという二つの現象を導く。前者はガンマ振動などの脳波リズムに、後者は、いま使う情報を短いあいだ保つ作業記憶に対応づけられる。そして最後に、この方程式がリカレントニューラルネットワークの親戚であることを見る。

本章のガイド

前章の道具をそのまま使うので、新しく覚えることは少ない。「同じ数学が水準を変えて効く」ことを味わってほしい。第1節で集団の発火率という記述の水準を用意し、第4〜5節で振動の発生と分岐図を扱う。第7節では、ここまでの回路をリカレントネットワークとして捉え直す。

第3節でヤコビ行列がもう一度現れる。前章では2変数系の固定点で使ったが、ここでは集団のレベルで使う。役目は前章と同じ（安定性の判定）で、対象だけが変わる。

第6節のアトラクターは、第7章のホップフィールド・ネットワークに直結する。「エネルギーの谷に落ちる」という描像は、そこで正確な形を与えられる。

急ぐなら第2節（方程式の意味）と第6節（アトラクター）でよい。

1. 集団の発火率という記述の水準

なぜ縮約するのか

理由は実際的なものと原理的なものがある。実際的な理由としては、10万個の HH 方程式を解くのが計算量として厳しい。それに、パラメータを全部決めることもできない。

原理的な理由のほうが大事である。われわれが知りたいのは、たいてい「この領野がどんな計算をしているか」であって、「3746番目の細胞がいつ発火したか」ではない。問いの水準に合った記述を選ぶ—第1章第2節で述べたことが、ここで具体的な選択になる。

平均場近似

縮約の論理を追っておこう。興奮性の集団を E と名づけ、そこに属する N 個のニューロンを考える（ここでの E は集団の名前で、第2章の平衡電位とは別物である）。i は入力を受ける細胞、j は入力を送る細胞の番号とし、r_j \ge 0 を細胞 j の発火率（Hz）、w_{ij} を細胞 j から細胞 i への結合強度、I_i を細胞 i が受ける合計入力とする。w_{ij} の単位は「入力の単位／Hz」で、w_{ij} r_j が一個の細胞から届く入力になる。i 番目の細胞が受ける入力は、他の細胞からの寄与の和である。

I_i = \sum_j w_{ij}\, r_j

ここで近似を入れる。細胞ごとの違いを無視し、結合強度も平均で置き換える。平均の結合強度を \bar{w}、集団の平均発火率を \bar{r} = N^{-1}\sum_{j=1}^{N} r_j（単位は Hz）と書き、さらに W = N \bar{w} と置く。W は一つの実数で、集団全体から届く結合の強さをまとめたものである。すると

I_i \approx \bar{w} \sum_j r_j = \bar{w} N \bar{r} \equiv W \bar{r}

入力が「集団の平均発火率」だけで決まってしまった。個々の細胞の識別が消えている。これが平均場近似（mean-field approximation）である。

いつ正当化されるか。一個一個の結合が弱く、その分散が有限で、細胞数が多いときである。さらに、結合の強さ w_{ij} と相手の活動 r_j のあいだに系統的な相関がないことが要る。強く結合している相手ほどよく発火する、というような偏りがあると、重みを平均で置き換えた瞬間に値がずれる。

二つの定理が別の役割を果たしている。和を細胞数で割った平均が真の平均に近づき、相対的なばらつきが 1/\sqrt{N} で縮んでいくのは大数の法則による。中心極限定理が言うのは、そこに残る揺らぎを \sqrt{N} 倍に拡大して見ると、その分布が正規分布に近づくということである。平均場近似を支えているのは前者で、揺らぎの大きさを見積もるときに効くのが後者だ。

いつ正当化されないか。結合に構造があるとき（特定の細胞群が強く結合しているとき）、細胞数が少ないとき、そして同期が重要なとき。この限界は覚えておいてほしい。

レートモデルの形

こうして得られる方程式は、前章の形を保っている。

\tau \frac{dr}{dt} = -r + F(I)

以下では r を最大発火率で割った、0 から 1 の無次元の集団活動とする。t は時間、\tau > 0 は活動が入力に追いつく速さを決める時定数で、両者の単位は同じである。I は集団への入力、F(I) はその入力に対応する活動の目標値である。F は入力をその活動に変える関数—第2章第2節の f–I 曲線を、縦軸方向に規格化したものである。このあと使うシグモイド型では、\theta は出力が 1/2 になる入力値、a > 0 は立ち上がりの急さを決める定数で、\theta は I と同じ単位、a はその逆数の単位を持つ（だから指数に入る a(I - \theta) は無次元になる）。集団版なので、細胞ごとの閾値のばらつきが均されて、なめらかなシグモイド型になることが多い。

F(I) = \frac{1}{1 + e^{-a(I-\theta)}}

そして、この F は活性化関数そのものである。第2章第7節で「活性化関数の出所は f–I 曲線だ」と述べたが、集団レベルではもっと直接的に、レートモデルの非線形性として現れる。

2. ウィルソン・コーワン方程式（Wilson–Cowan）

二つの集団

Wilson と Cowan の眼目は、興奮性集団と抑制性集団を分けたことにある。

なぜ分ける必要があるのか。Dale の法則による。一個のニューロンは投射先すべてで同じ伝達物質を使う—だから発火率モデルでは「興奮性細胞はどこへも興奮を、抑制性細胞はどこへも抑制を送る」と理想化する。「正の重みと負の重みが混ざった一つの集団」は、この理想化のもとでは作れない。二つの集団に分けるのが自然なのである。

ただし理想化であることは断っておきたい。 作用の符号を決めるのは受け手側の受容体であって、同じ伝達物質でも受容体が違えば符号が変わりうる（発達段階によっても変わる）。ここで使っているのは、あくまで発火率モデルにおける出力結合の符号制約という形の理想化である。

皮質では、興奮性細胞（主に錐体細胞）が約80%、抑制性細胞（主に近くの細胞をつなぐ介在ニューロン）が約20%を占める。

方程式

興奮性集団の活動を E、抑制性集団の活動を I とする。どちらも集団の平均発火率を最大値で割った、0 から 1 の無次元の実数である。ここでの I は、第1節で細胞への入力を表していた I とも、第2章の電流とも別物である。それぞれの活動は、いまの入力に対応する目標値 F_E(\cdot)、F_I(\cdot) に向かって変化する。F_E、F_I は各集団の応答関数（入力を 0 から 1 の活動に変える関数）、\tau_E, \tau_I > 0 はその変化の時定数で、時間 t と同じ単位を持つ。結合強度 w_{AB} の添字は、最初が受け手、次が送り手である（たとえば w_{EI} は抑制性集団から興奮性集団への結合）。P、Q はそれぞれ興奮性集団・抑制性集団への外部入力である。活動を無次元にしたぶん、各結合強度には送り手の最大発火率が織り込まれており、w_{EE}, w_{EI} は P と、w_{IE}, w_{II} は Q と同じ単位を持つ。

\begin{aligned} \tau_E \frac{dE}{dt} &= -E + F_E\big( w_{EE}E - w_{EI}I + P \big) \\ \tau_I \frac{dI}{dt} &= -I + F_I\big( w_{IE}E - w_{II}I + Q \big) \end{aligned}

各項の意味を確認しよう。

項	意味
-E, -I	入力がなければ自然に減衰する
w_{EE}E	興奮性の自己励起。E が増えると E がさらに増える
-w_{EI}I	抑制性から興奮性への抑制
w_{IE}E	興奮性から抑制性への駆動
-w_{II}I	抑制性の自己抑制
P, Q	外部入力

重みはすべて非負である（w_{EE}, w_{EI}, w_{IE}, w_{II} \ge 0）。符号は式の中に明示的に書かれている—これが Dale の法則を守るということである。

構造を読む

この方程式の骨格は、前章の活動電位と同じである。

速い正のフィードバック — E \to E の自己励起。E が増えると F_E の引数が増え、E がさらに増える。

遅い負のフィードバック — E \to I \to E の経路。E が増えると I が増え、I が増えると E が抑えられる。この経路は二段階なので、遅れる。

前章第3節で、活動電位が「速い m による正のフィードバックと、遅い h, n による負のフィードバック」で生じることを見た。同じ構造が、集団レベルで再現されている。そして同じ構造からは同じ現象—振動—が出てくる。

ここがポイント

ウィルソン・コーワン方程式の骨格は「速い自己励起＋遅れた抑制」である。この構造は第2章の活動電位と同型であり、だからこそ同じように振動を生む。細胞の中で起きていたことが、回路の中でも起きている。

3. 定常状態と安定性 ── ヤコビ行列の登場

固定点を求める

定常状態は dE/dt = dI/dt = 0 で決まる。

E^* = F_E(w_{EE}E^* - w_{EI}I^* + P), \qquad I^* = F_I(w_{IE}E^* - w_{II}I^* + Q)

F が非線形なので、一般には解析的に解けない。数値的に求めるか、相平面でヌルクラインの交点として見る。

ヌルクラインは前章と同じように引ける。E-ヌルクラインは E = F_E(\cdot) を満たす曲線、I-ヌルクラインは I = F_I(\cdot) を満たす曲線である。F がシグモイドなので、E-ヌルクラインは S 字を横倒しにしたような形になり、交点が1個から3個まで変わりうる。

交点が3個のときは、外側の2個が安定で中間の1個が不安定になることが多い—これが第6節の双安定性につながる。ただし安定性は交点の個数だけでは決まらないので、それぞれのヤコビ行列で確かめる必要がある。

安定性の判定

第2章第4節と同じように、固定点のまわりで線形化する。固定点 (E^*, I^*) からのずれを \delta E = E - E^*、\delta I = I - I^* として、

\frac{d}{dt}\begin{pmatrix}\delta E \\ \delta I\end{pmatrix} = J \begin{pmatrix}\delta E \\ \delta I\end{pmatrix}

ヤコビ行列 J を具体的に計算しよう。\tau_E\dot{E} = -E + F_E(u_E)、u_E = w_{EE}E - w_{EI}I + P だから、連鎖律で

\frac{\partial \dot{E}}{\partial E} = \frac{1}{\tau_E}\big(-1 + F_E'(u_E)\, w_{EE}\big), \qquad \frac{\partial \dot{E}}{\partial I} = \frac{1}{\tau_E}\big(-F_E'(u_E)\, w_{EI}\big)

同様に I の行も計算して、

J = \begin{pmatrix} \dfrac{-1 + F_E' w_{EE}}{\tau_E} & \dfrac{-F_E' w_{EI}}{\tau_E} \\[2ex] \dfrac{F_I' w_{IE}}{\tau_I} & \dfrac{-1 - F_I' w_{II}}{\tau_I} \end{pmatrix}

行列の中の F_E'、F_I' は、それぞれの応答関数を入力で微分して、固定点での入力値—w_{EE}E^* - w_{EI}I^* + P と w_{IE}E^* - w_{II}I^* + Q—に代入したものである。この F' が入っていることに注目してほしい。これは f–I 曲線の傾き、つまりその動作点でのゲインである。同じネットワークでも、活動レベルが違えば F' が違い、したがって安定性も違う。「回路の性質が状態に依存する」—これは実際の脳でも重要な性質である。

固有値から読む

2\times2 行列の固有値は、トレース T = \mathrm{tr}\,J（対角成分の和）と行列式 D = \det J（二次なら J_{11}J_{22} - J_{12}J_{21}。J_{ij} は第 i 行・第 j 列の成分）の二つだけで決まる。固有値の定義 \det(J - \lambda \mathrm{Id}) = 0 を書き下すと \lambda^2 - T\lambda + D = 0 になるからだ（\mathrm{Id} は対角成分が 1、他がゼロの単位行列。この章では I を抑制性集団の活動に使っているので、混同を避けてこう書く）。二次方程式を解いて、

\lambda = \frac{T \pm \sqrt{T^2 - 4D}}{2}

を得る。判別式 T^2 - 4D の符号が、固有値が実数か複素数かを決める—つまり固定点の近くで回り込みが起きるかどうかを決める。

判定は次のようになる。

条件	固定点の型
D < 0	サドル（不安定。一方向に安定、他方向に不安定）
D > 0, T < 0, T^2 > 4D	安定ノード（振動せず収束）
D > 0, T < 0, T^2 < 4D	安定な渦状点（振動しながら収束）
D > 0, T > 0, T^2 > 4D	不安定ノード（振動せず離れていく）
D > 0, T > 0, T^2 < 4D	不安定な渦状点（振動しながら固定点から離れていく）

最後の行が次節の主題である。トレースの符号が変わる瞬間に、何が起きるのか。

ここがポイント

ヤコビ行列に F'（f–I 曲線の傾き＝ゲイン）が入っているため、同じ回路でも動作点によって安定性が変わる。静かな状態では安定でも、活動が上がると振動を始める—ということが起こりうる。

4. 振動の発生 ── Hopf 分岐とリミットサイクル

トレースの符号が変わるとき

T = \mathrm{tr}\,J を書き下すと、

T = \frac{-1 + F_E' w_{EE}}{\tau_E} + \frac{-1 - F_I' w_{II}}{\tau_I}

第一項は w_{EE}（自己励起）が強いと正になりうる。第二項は常に負である。つまり、自己励起が強くなると T が正に転じる。そのとき D > 0 かつ T^2 < 4D なら、固有値は正の実部を持つ複素数になる—不安定な渦状点である。

固定点が不安定になったからといって、系が無限に発散するわけではない。F が飽和するので、活動はある範囲に閉じ込められる。

ただし、ここから先は注意がいる。「不安定な渦状点があって、しかも軌道が有界」ということから、一定の振幅で回り続ける閉じた軌道—リミットサイクル—の存在が導かれるわけではない。別の固定点が用意されていて、そちらへ落ち着くこともある（実際このモデルでも、入力をさらに上げると高活動の固定点が現れて、そちらに落ち着く。ただし次の「手を動かす」で示すのは、その手前の振動が続く範囲までである）。存在を保証するには、二次元なら軌道が入って出られない領域を作るなど、別の議論が必要である。この分岐—固定点が振動的に不安定化して、そのまわりにリミットサイクルが生まれる—が、前章第5節で扱った Hopf 分岐である。

Hopf 分岐にも二つの型がある。分岐点の先に安定な周期軌道が生まれ、その振幅がゼロから連続に育つのが超臨界である。分岐点の手前に不安定な小振幅の周期軌道があるのが亜臨界で、このとき系は別に存在する大振幅の軌道へ跳ぶことになる。どちらになるかは、線形化では決まらない（固有値だけを見ても分からない）。振幅の育ち方を見るのが、両者を見分ける実際的な手がかりになる。

振動の周波数

分岐点での振動周波数は、固有値の虚部で決まる。\omega \ge 0 を「位相が進む速さ」である角周波数、f を単位時間あたりの振動回数とすると、一周が 2\pi ラジアンなので f = \omega/(2\pi) である。以下では時間を ms で測るので、f を Hz に直すにはさらに1000倍する。

\omega = \frac{\sqrt{4D - T^2}}{2}, \qquad f = \frac{\omega}{2\pi}

この周波数の桁を決めているのは、主に時定数 \tau_E, \tau_I である（結合強度とゲイン F' も効くが、大きさを支配するのは 1/\sqrt{\tau_E\tau_I} である）。典型的な値（\tau_E \approx 10 ms、\tau_I \approx 5〜10 ms 程度）を入れると、数十ヘルツの振動が出る—ガンマ帯（30〜80 Hz）である。次の「手を動かす」で、この見積もりを数値で確かめる。

E/I バランスとガンマ振動

皮質で観察されるガンマ振動が、この機構で生じるという説は有力である。PING（pyramidal-interneuron network gamma）モデルと呼ばれる。

筋書きはこうだ。錐体細胞が発火する → 介在ニューロンを駆動する → 介在ニューロンが錐体細胞を抑制する → 抑制が切れる → また錐体細胞が発火する。この一巡にかかる時間が、振動の周期を決める。

実験的な支持もある。介在ニューロン（とくにパルブアルブミンというタンパク質を持つ細胞。こうした細胞を「陽性」と呼ぶ）を、光に反応するタンパク質を導入して光で活動を変える方法（光遺伝学）で操作すると、ガンマ振動が制御できることが示されている（Cardin ら 2009、Sohal ら 2009）。ただし注意も要る。振動が「観察される」ことと、それが「計算的な役割を持つ」ことは別である。振動が情報処理に必須なのか、それとも回路構造の副産物なのかは、いまも議論が続いている。

手を動かす

ウィルソン・コーワン方程式を解き、固有値の実部が符号を変える瞬間を捉えよう。コードは コード/03_wc.py にある。興奮性集団への外部入力 I_E は本文の P と同じ量で、抑制性集団の活動 I とは別物である。以下の固有値の単位は ms^{-1}、振幅は過渡が収まったあとの E の最大値と最小値の差（無次元）とする。

tE, tI = 10.0, 8.0                        # ms
wEE, wEI, wIE, wII = 10.0, 16.0, 12.0, 2.0
aE, thE, aI, thI = 1.6, 4.0, 2.0, 3.7
II = 0.0                    # 抑制性集団への外部入力

def F(u, a, th):            # シグモイド型の応答関数
    return 1.0/(1.0 + np.exp(-a*(u - th)))

def dF(u, a, th):           # その微分
    s = F(u, a, th)
    return a*s*(1 - s)

def g(x, IE):               # 右辺。ゼロになる点が固定点
    E, I = x
    return np.array(
        [(-E + F(wEE*E - wEI*I + IE, aE, thE))/tE,
         (-I + F(wIE*E - wII*I + II, aI, thI))/tI])

def jacobian(x, IE):        # 固定点まわりの線形化
    E, I = x
    gE = dF(wEE*E - wEI*I + IE, aE, thE)
    gI = dF(wIE*E - wII*I + II, aI, thI)
    return np.array([[(-1 + wEE*gE)/tE, -wEI*gE/tE],
                     [wIE*gI/tI,      (-1 - wII*gI)/tI]])

# 固定点を求め、そこでの固有値の実部の最大を読む
x = fixed_point(IE, near=mean)
re = np.linalg.eigvals(jacobian(x, IE)).real.max()

（fixed_point は、両式の右辺がゼロになる点を探す関数である。実際のコードでは指数の暴走を防ぐため F の中に np.clip を挟んでいる。）

I_E	1.0	1.9	2.0	2.5	6.0
固有値の実部	-0.087	-0.002	+0.002	+0.008	+0.011
固有値の虚部	0	0.163	0.195	0.300	0.583
振動の振幅	0	0	0.042	0.107	0.086

図 1: ウィルソン・コーワン方程式の Hopf 分岐（`コード/03_wc.py` の出力）。上は固定点における固有値の実部、下は振動の振幅。この設定では、実部がゼロを横切る点で振幅が立ち上がる。

実部が負のうちは振幅がゼロ、正に変わると振動が始まる。上下の図が揃っていることを見てほしい。分岐点 I_E\approx1.95 では固有値がほぼ \pm0.179\,i なので、周波数は

f = \frac{\omega}{2\pi}\times1000 \approx \frac{0.179}{2\pi}\times1000 = 28.5\ \mathrm{Hz}

となる。虚部が角周波数で、一周は 2\pi、最後の1000倍は ms を秒に直すためだった。数十ヘルツという先ほどの見積もりを確かめられた。

振幅はゼロから連続に育ち、跳ばない。これが超臨界の Hopf 分岐の特徴である。ただし固有値を比較するときは、同じ固定点の枝を追っているかを確かめよう。次節のように固定点が複数あると、この注意が効く。探索法と細かな刻みの結果は、第3章第4節「手を動かす」（Web版の追加実験）で確かめられる。

問い—入力を上げ続けると、表の振幅はいったん増えてから減る。なぜだろうか。応答関数 F の飽和を思い出してほしい。

固定点の選び方を点検する

上のコード/03_wc.pyは、候補点を格子状に並べ、そこからニュートン法で右辺がゼロの点を探す。ニュートン法はその場の傾きを使い、零点へ近づく反復法である。時間を前へ進めるだけでは、軌道が離れてしまう不安定固定点を捉えられない。

I_E を細かく変えたとき、得た固定点が連続につながるかを見よう。上の設定では約1.72〜1.73に三つの固定点があるが、振動が立ち上がる約1.95の近くでは一つだけになる。入力を変えるたびに別の固定点を選べば、符号が変わっても分岐とは限らない。

境目を詰めると I_E\approx1.9471、そこで \operatorname{tr}J\approx0、\det J\approx0.0321 ms^{-2} で、固有値は約 \pm0.1792i ms^{-1}。本文の28.5 Hzを確かめられる。分岐点から離れた周期軌道では、固有値の虚部による局所的な見積もりと、実際の一周の時間から求める周波数は一般に一致しない。周期も直接測って比べてみてほしい。

5. 分岐図の読み方

パラメータを動かしたときの解の変化を、一枚の図にまとめたのが分岐図である。読み方を整理しておく。

描き方

横軸にパラメータ（たとえば外部入力 P）、縦軸に定常状態の E を取る。各パラメータ値について、

固定点があれば、その値を点で打つ。安定なら実線、不安定なら破線で描くのが慣習である
リミットサイクルがあれば、振動の最大値と最小値を打つ。二本の線が開いた領域が振動領域になる

典型的な形

ウィルソン・コーワン方程式でよく現れるのは、次の二つである。一つは S 字型（双安定）で、曲線が S 字に折れ曲がり、中間の範囲で三つの固定点を持つ。上下の枝が安定、中間の枝が不安定である。

このときヒステリシスが起きる。入力をゆっくり上げていくと、上の折り返し点で活動が跳ね上がる。そこから入力を下げても、下の折り返し点まで戻らないと落ちない。系が「履歴」を持つわけである。第6節の作業記憶は、この性質を使っている。

もう一つは振動領域である。ある範囲のパラメータで、固定点が不安定化してリミットサイクルが現れる。分岐図の上では、一本の線（固定点）が破線に変わると同時に、二本の線（振動の上下）が枝分かれする。

何が嬉しいのか

分岐図の価値は、質的に違う振る舞いの領域を一望できることにある。「このパラメータ範囲では静止、ここでは振動、ここでは双安定」—という地図が得られる。そして脳の状態（覚醒・睡眠・麻酔）や、神経修飾物質の作用を、この地図の上の移動として理解できる可能性が開ける。

てんかん発作を「正常な動作点から病的な動作点への分岐」として捉える研究もある。分岐という概念が、臨床的な問いに接続する例である。

6. アトラクターと連続アトラクター

アトラクターとは

アトラクター（attractor）とは、まわりの軌道が引き寄せられる集合のことである。安定な固定点は点アトラクター、安定なリミットサイクルは周期アトラクターである。

なぜこれが重要か。アトラクターは「記憶」の候補になるからだ。

系がある安定な固定点に落ち着いているとする。少しつつかれても、また同じ点に戻る。つまり状態が保たれる。外部からの入力が消えても活動が続くなら、それは「何かを覚えている」ことになる。

双安定性と作業記憶

前節の S 字型分岐図を思い出そう。ある入力範囲で、安定な固定点が二つある（低活動状態と高活動状態）。この二つの状態が、1 ビットの記憶になる。短い刺激で高活動状態に押し上げれば、刺激が消えても高活動が続く。別の信号で低活動に戻せば、リセットされる。

これが遅延期間の持続活動（delay-period persistent activity）のモデルである。額の後ろにある大脳皮質、前頭前野では、刺激が消えた後も数秒にわたって発火が続く細胞が記録されており、作業記憶に伴って現れる活動、すなわち神経相関と考えられてきた。ただしこの見方は近年揺れている。個々の試行では発火が持続せずバースト状に出るという報告や、発火を伴わない短期保持（activity-silent working memory）の提案があり、「持続活動が作業記憶である」と単純には言えなくなっている。

連続アトラクター

だが、覚えたいものが「1 ビット」でないことも多い。方向を覚えるなら、0度から360度まで連続的な値である。このとき使われるのが連続アトラクター（continuous attractor）である。安定な固定点が孤立せず、連続的な集合（リング、あるいは平面）をなす状況だ。

リングアトラクターを作ってみよう。集団を、その集団が表す方向の角度 \theta でラベル付けし、結合を「角度差の関数」にする。ここでの \theta は、第1節で応答関数の閾値に使った \theta とは別物である。角度はラジアンで測り、0 \le \theta < 2\pi として一周した位置は同じ位置とみなす。w(\theta, \theta') は角度 \theta' の集団から角度 \theta の集団への結合強度、w_0 は角度によらない成分、w_1 は角度差による変化の大きさである。

w(\theta, \theta') = w_0 + w_1 \cos(\theta - \theta')

角度差を \Delta = \theta - \theta' と書く。近いものどうしは強く興奮させ合い、遠いものは抑制し合う（w_0 < 0 かつ w_1 > |w_0| ならそうなる。\Delta=0 で w_0+w_1>0、\Delta=\pi で w_0-w_1<0）。この結合を「メキシカンハット型」と呼ぶ。

ここで一つ、第2節との食い違いに気づいてほしい。同じ集団が近くへ正、遠くへ負を送っているので、これは第2節で置いた出力結合の符号制約（Dale の法則の理想化）を破っている。w(\theta,\theta') は実効的な結合—興奮性のリングと、それを一様に抑える抑制性集団をまとめて書いたもの—だと読んでほしい。符号制約を守った実装では、この二つを別の集団として分けて書く。

時間発展は、第2節の二集団版をリングへ置き換えるだけである。集団の活動を r(\theta,t)—時刻 t に角度 \theta の集団が示す、0 から 1 の無次元の活動—と書けば、一時刻の状態は二つの実数ではなく、リング全体にわたる活動の分布になる。各集団はリング全体から入力を受けるので、送り手の角度 \theta' について 0 から 2\pi まで積分する。b は全角度に共通の外部入力、\tau > 0 は共通の時定数である。

\tau\,\frac{\partial r(\theta,t)}{\partial t} = -r(\theta,t) + F\!\left(\int w(\theta-\theta')\,r(\theta',t)\,d\theta' + b\right)

となる。和が積分に変わっただけで、形は同じである。

ここからは二段に分けて考える必要がある。まず、ゲインと結合の強さが適切なら、活動が一箇所に山を作った状態が解として存在し、安定になる（これは対称性からは出てこない。結合の強さに条件がつく）。そのうえで、結合が角度差にしか依存しないので、ある山型の解を回転させたものも、同じく解である。こうして安定な状態がリング状に連続してつながる。

対称性が保証するのは後半だけだ—解を回転コピーで並べること。存在と安定性は別に確かめなければならない。この構造は、頭が特定の方向を向くとよく発火する頭方位細胞（head direction cell）の説明として提案されている。ショウジョウバエの脳中央にある領域群、中心複合体では、実際にリング状の構造と、その上を動く活動の山が観察されており、連続アトラクターの直接的な証拠と見られている。

連続アトラクターの弱点

連続であることは、弱点でもある。山を動かすのにエネルギーが要らないということは、ノイズでも動いてしまうということだ。

実際、遅延期間が長くなると、記憶された方向が徐々にドリフトすることが知られている。「連続的な値を保持する」ことと「安定に保持する」ことは、トレードオフの関係にある。

ここがポイント

アトラクターは記憶の候補である。離散的なアトラクター（双安定）は頑健だが少数の状態しか保持できず、連続アトラクターは連続量を保持できるがノイズでドリフトする。何を覚えたいかによって、必要な構造が違う。

そして第7章では、この「アトラクターに落ちる」という描像に、エネルギー関数という正確な数学を与える。ホップフィールド・ネットワークである。エネルギーの谷が記憶であり、想起とは谷に転がり落ちることだ—という描像が、証明つきで手に入る。

7. リカレントネットワークとしての見方

最後に、本章の方程式を深層学習の言葉に翻訳しておく。

連続時間 RNN

ウィルソン・コーワン方程式を、集団を2つに限らず N 個に一般化する。

\tau \frac{d\mathbf{r}}{dt} = -\mathbf{r} + F\big(W\mathbf{r} + \mathbf{b}\big)

\mathbf{r} \in \mathbb{R}^N が各集団の活動を縦に並べたベクトル（各成分は 0 から 1 の無次元量）、W \in \mathbb{R}^{N \times N} が結合行列で、行が受け手、列が送り手に対応する。W_{ij} は集団 j から集団 i への符号込みの結合強度であり、第1節で平均をまとめた実数 W とは別物である。\mathbf{b} \in \mathbb{R}^N は各集団への外部入力を並べたベクトル、F は入力ベクトルの各成分に応答関数を当てて N 個の活動を返す。これが連続時間リカレントニューラルネットワークである。活動が結合を通ってまた自分たちへの入力になるので、リカレント（再帰的）と呼ぶ。離散化してみよう。オイラー法で \Delta t = \tau と取ると、

\mathbf{r}_{t+1} = \mathbf{r}_t + \big(-\mathbf{r}_t + F(W\mathbf{r}_t + \mathbf{b})\big) = F(W\mathbf{r}_t + \mathbf{b})

素朴な RNN の更新式そのものである。深層学習で使われる RNN の更新式は、ウィルソン・コーワン方程式を粗く離散化した形と一致する。

もっと小さい刻み幅（0 < \Delta t < \tau）を取れば、一回の更新で目標値まで届かず、いまの活動が一部残る。その進む割合を \alpha = \Delta t/\tau と置こう（0 < \alpha < 1 の無次元の数である）。すると、

\mathbf{r}_{t+1} = (1 - \alpha)\,\mathbf{r}_t + \alpha\, F(W\mathbf{r}_t + \mathbf{b}), \qquad \alpha = \Delta t/\tau

過去の状態を一部残す形になる。時定数が10 ms で刻み幅が2 ms なら \alpha = 0.2 である。いまの活動が 0.2、応答関数が返す目標値が 0.8 なら、更新後は 0.32—目標までの差の2割だけ進む。GRU や LSTM は、過去の状態をどれだけ残し、新しい入力をどれだけ取り込むかを調節する仕組みを持つリカレントネットワークで、この調節の仕組みをゲートと呼ぶ。上の式はその原型と見ることができる—ゲートは、いまは定数である \alpha を入力に応じて変えられるようにしたものだ。

何が違うのか

対応がつくとはいえ、違いもある。

符号の制約

生物のネットワークは Dale の法則に従うが、RNN の W は自由である。この制約を課した RNN も研究されているが、標準的な実装では課さない。

学習則

RNN は、出力の誤差が各重みにどう依存するかを出力側からたどる誤差逆伝播で学習する。時間をさかのぼってこの計算を行うものを BPTT と呼ぶ。生物学的な妥当性は低い（第8章）。

時間スケール

生物では時定数が細胞種ごとに違い、それが階層的な時間スケールを生む。RNN では通常一様である。

リザバー計算

もう一つ、面白い接点がある。リザバー計算（reservoir computing）は、リカレント部分の結合 W をランダムに固定したまま、出力の読み出し重みだけを学習する枠組みである。

なぜこれで動くのか。ランダムなリカレントネットワークは、入力の履歴を高次元の状態に「展開」する。過去の入力の複雑な関数が、状態の線形結合として取り出せる—だから読み出しだけ学習すればよい、という理屈である。

生物学的にも魅力的な発想だ。皮質の局所回路は詳細な結線が個体ごとに違うだろうが、それでも同じような計算ができるなら、結線の詳細は重要でないことになる。ただしこの主張は、まだ確立していない。リザバーの性能は結合の統計的性質に敏感で、「ランダムでよい」と言い切れるわけではない。そして第11章で扱う「表現の次元」の議論とも関わってくる—リザバーが有用なのは、状態が十分高次元に展開されるからである。

波とモードという別の切り方

ここで一度、本章のやり方そのものを疑ってみよう。

第2節のウィルソン・コーワン方程式も、いま見た RNN も、骨格は同じである。離散した単位を用意し、それらを重みでつなぐ。第2章第7節で述べたニューロン説の描像が、集団の水準にそのまま持ち上がったものだ。そして深層学習が採っている前提も、これと同じ形をしている。

これに対して、皮質を連続した媒質として扱う流儀がある。活動は場所を持った波として書かれ、記述の主役は進行波（travelling wave）になる。多点同時記録が広まってから、感覚野・運動野・高次領野のいずれでも波が観測されるようになった（Muller ら 2018）。

さらに踏み込んだ主張もある。弦を弾くとき、どんな形で振動できるかは、弦の長さと端の留め方で決まっている。このように、系そのものが持ちうる活動や振動のパターンをモードと呼び、共鳴に対応するものを共鳴モードと呼ぶ。Pang ら (2023) は、ヒトの fMRI 活動が、領野間の複雑な結合から決まるモードよりも、脳の形状が決める共鳴モードでよく説明できると報告した。課題による活動は一つの領野に留まらず、波長 60 mm を超える全脳的なモードを励起している—つまり、その広がった活動パターンを生じさせている—という。「どこが光るか」で脳機能を語る作法とは、かなり違う絵である。

この立場が正しいかどうかは、まだ決着していない。だが本書にとって大事なのは別の点だ。離散した単位と重み行列という前提は、脳を記述する唯一の切り方ではない。本書はその切り方を採る—採るからこそ脳とAIを同じ式で書けるのだが、採らない道もあることは覚えておいてほしい。

同じ活動を「単位の集まり」として見るか「波」として見るかで、何を説明できたと感じるかは変わってくる。あなたはどちらの絵に納得を覚えるだろうか。

次章へ

ここまでの三章で、われわれは微分方程式でニューロンと集団を記述し、固定点・分岐・アトラクターという道具を手に入れた。次章から話題が変わる—時間発展ではなく、刺激と応答の対応を扱う。ある画像を見せたとき、細胞はどう応じるか。その記述に現れるのが畳み込みであり、これが本書でもっとも息の長い伏線になる。

コラム：興奮性ニューロンと抑制性ニューロン

本文のウィルソン・コーワン方程式が二集団を分けているのは、生物学的な根拠がある（図 2）。図の PV・SST・VIP は、それぞれパルブアルブミン・ソマトスタチン・血管作動性腸管ペプチドという物質を目印に区別した抑制性細胞群である。

図 2: 本文の二集団モデルと、実際の皮質の細胞たち（模式）。矢印が興奮、丸端が抑制である。左の E と I を分けてよいのは Dale の法則があるからだが、右を見れば分かるとおり、抑制性の側を一つの変数で代表させるのは大幅な単純化である。PV・SST・VIP は抑制する場所が違い、VIP にいたっては他の抑制性細胞を抑える（脱抑制する）。

Dale の法則

一個のニューロンは、すべての投射先に対して同じ神経伝達物質を放出する。だから発火率モデルの水準では、同じ符号の作用しか及ぼさないと理想化する（本文で断ったとおり、符号を最終的に決めるのは受け手側である）。皮質ではグルタミン酸を放出する興奮性細胞と、GABA を放出する抑制性細胞に分かれる。

錐体細胞

皮質の興奮性細胞の大半を占め、細胞体が三角形（錐体）に見えることからこの名がある。長い尖端樹状突起を皮質表面へ伸ばし、軸索は他の領野や皮質下へ長く投射する。皮質から出ていく出力は、ほぼすべて錐体細胞が担う。

介在ニューロンの多様性

抑制性細胞は数のうえでは約20%だが、種類が非常に多い。パルブアルブミン（PV）陽性細胞は錐体細胞の細胞体近くを速く強く抑制してガンマ振動に関わるとされ、ソマトスタチン（SST）陽性細胞は樹状突起を抑制し、VIP 陽性細胞は他の介在ニューロンを抑制する（脱抑制する）。

E/I バランス

皮質の細胞は、興奮性入力と抑制性入力をほぼ釣り合った量だけ受けている。差し引きがゼロに近いため、細胞は入力の揺らぎによって発火することになる。第2章第6節で触れた「皮質の発火が C_V \approx 1 と不規則である」ことの、有力な説明がこれである。

分かっていないこと

本文のモデルは E と I をそれぞれ一つの変数で代表させたが、PV・SST・VIP はそれぞれ違う場所を抑制し、違う入力を受ける。少なくとも三つ以上の抑制性集団を区別すべきだ、という主張には根拠がある。そして、なぜ抑制性細胞がこれほど多様なのかは分かっていない。「それぞれが違う計算的役割を担う」という仮説は魅力的だが、役割を特定できた例は限られている。光遺伝学で細胞種を選択的に操作できるようになって研究は進んだが、「この細胞種を抑えるとこの現象が消えた」という結果からその細胞の計算的役割を読み取ることは、思われているほど簡単ではない。

出典　Rudy et al. (2011)、カンデル神経科学第2版。

確認問題

［確認］平均場近似がどんな仮定のもとで正当化されるかを述べよ。また正当化されない状況を二つ挙げよ。（第1節）
［確認］ウィルソン・コーワン方程式の各項の意味を述べよ。とくに重みがすべて非負であり、符号が式に明示されている理由を説明せよ。（第2節）
［確認］「速い正のフィードバック」と「遅い負のフィードバック」が、ウィルソン・コーワン方程式のどの経路に対応するかを述べよ。第2章の活動電位との対応を説明せよ。（第2節・第2章第3節）
［導出］ウィルソン・コーワン方程式のヤコビ行列を導出せよ。F' が入ることの意味を述べよ。（第3節）
［導出］Hopf 分岐で生じる振動の周波数が、時定数からどう決まるかを述べよ。典型的な値を入れると何ヘルツになるか。（第4節）
［導出］リングアトラクターの結合 w(\theta,\theta') = w_0 + w_1\cos(\theta-\theta') が角度の差だけで決まることから、一つの山型解の回転コピーもまた解になることを説明せよ。（第6節）
［考える］連続アトラクターの弱点を述べよ。それは離散アトラクターとどんなトレードオフをなすか。（第6節・第7章第2節）
［導出］連続時間 RNN \tau\,d\mathbf{r}/dt = -\mathbf{r} + F(W\mathbf{r}+\mathbf{b}) をオイラー法で離散化し、\Delta t = \tau のとき素朴な RNN の更新式になることを示せ。（第7節）

参考文献

Wilson, H. R., & Cowan, J. D. (1972). Excitatory and inhibitory interactions in localized populations of model neurons. Biophysical Journal, 12(1), 1–24. https://doi.org/10.1016/s0006-3495(72)86068-5 — 本章第2節の原典
Wilson, H. R., & Cowan, J. D. (2021). Evolution of the Wilson–Cowan equations. Biological Cybernetics, 115(6), 643–653. https://doi.org/10.1007/s00422-021-00912-7 — 半世紀後に本人が書いた回顧。何が意図され何が誤解されたかが分かる
Strogatz, S. H. (2015). Nonlinear Dynamics and Chaos: With Applications to Physics, Biology, Chemistry, and Engineering. Westview Press. — 分岐の教科書。第4〜5節で詰まったらここへ
Rudy, B., Fishell, G., Lee, S., & Hjerling‐Leffler, J. (2011). Three groups of interneurons account for nearly 100% of neocortical GABAergic neurons. Developmental Neurobiology, 71(1), 45–61. https://doi.org/10.1002/dneu.20853 — 抑制性細胞の三分類［コラム C3］
Muller, L., Chavane, F., Reynolds, J., & Sejnowski, T. J. (2018). Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience, 19(5), 255–268. https://doi.org/10.1038/nrn.2018.20 — 皮質の活動を波として見る立場の総説［7節］
Pang, J. C., et al. (2023). Geometric constraints on human brain function. Nature, 618(7965), 566–574. https://doi.org/10.1038/s41586-023-06098-1 — 脳の形状が決める共鳴モードで活動を説明する。本書が採る「単位と重み」という前提を外から眺めるために［7節・第2章第7節］
Cardin, J. A., et al. (2009). Driving fast-spiking cells induces gamma rhythm and controls sensory responses. Nature, 459(7247), 663–667. https://doi.org/10.1038/nature08002 — 介在ニューロンとガンマ振動［4節］