埋め合わせる脳、埋め合わせる機械 ― せん妄とハルシネーション

病室のベッドで、父はテレビのチャンネルを、同じ順序で変え続けていた。ひとつ送り、また送り、一巡すると最初へ戻って、また同じ順に送っていく。何十分も、何時間も。長い入院のあいだに、父の意識はせん妄と呼ばれる状態へ沈んでいた。

しばらくして意識が戻った父に、あのとき何が起きていたのかを聞いた。繰り返しているのは分かっていた、と父は言った。分かっていたのに、止められなかった、と。

壊れているのが、壊れている本人の目に映っていながら、止める側へは回れない。この落差が、ずっと引っかかっていた。そして最近、まったく別の場所で似た落差を見た。生成AIが、事実でないことを、事実と同じ顔で語り出す瞬間である。

01動揺する意識

せん妄は、注意と意識が急に乱れる状態を指す。米国精神医学会の診断基準（DSM-5）は、注意を向け・保ち・切り替える力の低下と、まわりへの見当識の低下を中心に置く。目印になるのは発症の速さと、経過の揺れだ。数時間から数日で立ち上がり、一日のうちでも、頭のはっきりする時間と濁る時間を行き来する。父にも、意識の澄む瞬間があった。その短い凪のあいだに、濁っていたときの話を聞けたのだった。

繰り返しの正体には、保続という名前がついている。前頭葉の働きが乱れると、いったん始めた動作や言葉を、もう場にそぐわなくなった後も続けてしまう。神経心理学の用語集は、この状態を、本人が止められないと感じる反復と説明する。なぜ止められないのか。前頭葉は、いま続けている動作を「もう十分だ」と打ち切り、次へ切り替える係でもある。そこが弱ると、始まった動作が終了の合図を受け取れないまま、空転だけが残る。父のチャンネル送りは、まさにそれだった。意思が指の先回りをできず、始まってしまった動作だけが繰り返されていた。

救いは、せん妄の多くが可逆的なことだ。感染症や脱水や薬の影響といった引き金が取り除かれれば、意識はもとの岸へ戻ってくる。父も戻ってきた。だからこそ、戻った岸で言葉を交わせた。

02後から来る理由

せん妄は、脳が壊れた特殊な状態に見える。だが、そこで起きている埋め合わせ自体は、健康な脳もふだんからやっていることだ。意識には、自分の知らないうちに起きた出来事へ、後から理由を与える癖がある。

それがはっきり見えるのが、分離脳の研究だ。左右をつなぐ脳梁を断たれた患者を考えてみる。右脳が受け取った指示で手が動いたあと、言語をつかさどる左脳が、本当の理由を知らないまま、もっともらしい説明をその場ででっち上げる。ガザニガはこれを作話と呼んだ。脳には広報部があって、現場が勝手にやったことを、社長の決断でしたと後から発表している。

作話は、記憶の病でも起きる。コルサコフ症候群の患者は、記憶の空白を前にして、嘘をつく気などないまま、筋の通った物語でその穴を埋めてしまう。そして健康な記憶さえ、思い出すたびに作り直されている。心理学者バートレットは1932年、被験者に異国の民話を間を置いて何度も語らせ、細部が各人の馴染んだ形へ静かに描き替えられていく様を記録した。想起は録画の再生というより、そのつどの作り直しだった。

並べてみると、輪郭が浮かぶ。脳は、欠けた情報を空白のまま放置せず、手持ちの材料でもっともらしく埋める。この埋め合わせがふだんは速く滑らかなので、私たちは継ぎ目に気づかない。

03機械の轍

同じ手つきを、まるで違う土台の上でも見つけることができる。大規模言語モデル、いわゆる生成AIだ。

その仕組みは、煎じ詰めれば一つの操作の繰り返しでできている。これまでの文脈を受けて、次に来る一語の確率を語彙全体にわたって計算し、その分布から一語を選ぶ。選んだ語を文脈に足して、また次の一語を計算する。文章とは、この予測の連なりが描いた軌跡である。

この機械にも、知られた壊れ方がある。反復だ。ホルツマンらは2019年、確率を最大にする素直な生成のしかたが、単調で妙に反復的な出力を生むことを示した。徐らは2022年、その反復に自己強化の性質があることを突き止めた。人が書いた文章では、同じ文がすぐ後に繰り返される割合はごくわずかで、ある大規模なコーパスでは0.02%にすぎない。ところがモデルは、いちど反復に入ると、その稀なはずの道を自分から掘り進める。ある文がすでに何度か現れているほど、次もそれを選ぶ確率が上がるからだ。自分の出力が自分の入力へ回り込み、通った道の轍が、進むほど深くなる。抜け出す力より、はまり込む力のほうが勝っていく。

父の「分かっているのに、やめられない」と、外から見た形はよく似ている。始まった反復が、自分で自分を強めていく。

ただし、決定的に違うかもしれない一点がある。反復のさなかの機械には、たぶん、それを眺める視点がない。父には、空回りを外から見ている目が残っていて、だからこそ、あとで語れた。眺める者のいる空転と、眺める者のいない空転。どちらがより救いがないのかは、私にはまだ言えない。

04もっともらしさの影

そして、ハルシネーションにたどり着く。もっともらしいのに事実に反する、あるいは裏づけのない出力を、この分野はそう呼ぶ。

肝心なのは、機械が嘘をつく機能を積んでいないことだ。事実を述べるときも、誤りを述べるときも、内部でしていることは変わらない。次の一語のもっともらしさを計算し、選ぶ。真実用の回路と虚偽用の回路が切り替わるわけではない。

この理解には、近ごろ留保が付き始めている。モデルの内部状態を調べた研究は、隠れた層の活動から、述べた内容が真か偽かを7割から8割の精度で言い当てられることを報告した。真偽とゆるく相関する手がかりが、そこに残っているのだ。内側では正しい答えを符号化していながら、外へは誤りを出す例さえある。だから、正確にはこう言い直すべきだ。生成の手つきは真偽で切り替わらない、しかし内部には真偽の痕跡がうっすら残っている。

それでも、大枠の構図は揺るがない。ハルシネーションの骨格は、分離脳の左脳がやってのけた作話とそっくりだ。手持ちの材料で、筋の通った穴埋めをする。人の記憶が思い出すたびに細部を作り直すのも、同じ穴埋めである。もっともらしさで空白を満たす働きは、AIが持ち込んだ新機能ではなく、情報を扱う仕組みが古くから背負ってきた標準装備なのだ。ハルシネーションは、真実を語る機械の突然の故障ではない。もっともらしい続きを紡ぐ機械が、原理として抱え込む影である。

その影を完全に拭えるのかどうかについては、理論的な議論が続いている。学習の仕組みからして避けられないと論じる研究があり、データの質と量しだいで無視できる水準まで薄められると見る研究があり、いまの性能評価が「わからない」と答えるより推測を報酬づけてしまう副産物だと分析する研究もある。決着はついていない。ただ、影が仕組みに根ざしているという見立ては、複数の側から支持されつつある。

05岸で聞いた言葉

留保を一つ、手放さずに置いておきたい。外から同じに見えることは、内側まで同じであることを保証しない。鳥と飛行機はどちらも飛ぶが、飛行機は羽ばたかない。神経のシナプスと行列の演算は、形の上で似た現象を起こしても、その裏側はまるごと別物であっておかしくない。父の側に本当は視点があり、機械の側には何もない、という直感の落差が、それを物語ってもいる。

それでも、飛ぶとは何かを知りたいなら、翼を持つものと持たないものの両方を見たほうがいい。父がはまった空回りと、機械がはまる空回りを並べると、一つの手ざわりが浮かぶ。意識や知能は、隙間をもっともらしさで埋めながら、かろうじて滑らかに動いている。その埋め合わせが乱れたとき、似た形で綻ぶ。壊れ方が似ているのは、たぶん、ふだんの動き方が似ているからだろう。

父は、空回りから戻ってきて、濁っていたあいだの話を岸から手渡してくれた。そのあいだに流れた時間は、ついに言葉にならない。だが岸で交わした数語は、機械の綻びを見つめるいまも、私の手のなかにある。