再構成の素顔
――ハルシネーションと作話、生成機械の影

せん妄の中で、同じ言葉を繰り返しているとわかっていながらやめられずにいた父の姿を思い出しながら、ひとつの直感が浮かんだ。頭が混線したり、同じループにはまって抜けられなくなることは、人間にも起こる。AIのハルシネーションとは、実はとても生物的な現象なのではないか。この直感を、印象論で終わらせず文献で検証する。

01直感を検証にかける

問いは二段構えにした。第一に、AIのハルシネーションと、人間の作話(confabulation)やせん妄は、機構のレベルでどこまで本当に似ているのか。第二に、どこからが「形が似ているだけ」のアナロジーの誤用に転ぶのか。

先に結論を置く。直感は、特定の一点において深く正しく、別の一点において行き過ぎていた。そして正しい部分を正確に言い直すと、当初の直感よりも鋭い像が見えてくる。

論点収束の度合い判定
どちらも「嘘」ではない(真偽の切替スイッチがない) ◎ 強い 機構レベルで一致
もっともらしさで穴を埋める機構は「標準装備」/生成の必然の影 ◎ 強い 両サイドで独立に裏付けあり
自己強化する反復ループ ○ 中 形は一致。「観察者」の有無で分岐
生成のあとに検証(モニタリング)層があり、その破綻が病理 ○ 中〜強 過小評価されがちだが良い平行性
予測符号化「知覚は制御された幻覚」で統一的に説明 △ 弱い 語彙は共有できるが実証は未確立。誤用の温床
物理的基盤・動態(神経伝達物質/炎症 vs 行列演算/温度) 別物。特にせん妄は悪い喩え
病理(正常からの逸脱)か、平常運転か ✕ 反転 ここが直感の最大の修正点

02どちらも「嘘」ではない

臨床上、作話は非意図的な現象である。詐病とは違い、そこに二次利得の意図はなく、本人は嘘をついている自覚を持たない。分離脳における左脳インタープリターも同じ構造を持つ。右脳が起こした行動に対し、左脳は嘘をつくつもりなく、手持ちの材料だけで辻褄の合う物語を即興生成する。

LLM側も、構造としては同型である。モデルは常に「もっともらしい続き」を尤度最大化によって生成しているだけで、正しいことを言うときも誤るときも内部の処理は同一だ。「真実モード」と「嘘モード」の切り替えは、そもそも存在しない。ここは比喩ではなく、機構の一致と言ってよい。

03もっともらしさで穴を埋めるのは、生成する機械の必然の影

ハルシネーションは新種のバグではなく、物語を作る機械が原理上持つ影である――という主張は、人間側とAI側の両方で、独立に裏付けが取れる。ここが今回の検証でもっとも堅い発見だった。

人間の記憶は「再生」ではなく「再構成」である。バートレットのスキーマ理論や、ロフタスとパーマーによる誤情報効果、選択盲の実験が示すように、健常者であっても、想起のたびに細部は作り直される。もっともらしさで欠落を埋めることは、病気の機構ではなく、正常な記憶システムが標準的に持つ性質なのだ。

AI側では、さらに踏み込んだ数理的な結果がある。キャリブレートされた言語モデルは、訓練データに一度しか出現しない事実の割合に下限づけられた率で、必ずハルシネーションを起こすことが証明されている(Kalai & Vempala, 2024)。これは理想的な、誤りゼロの訓練データを与えたとしても成立する統計的な下限である。生成モデルである以上、影は避けられない――この一点が、両サイドで別々に成り立っている。

04自己強化する反復ループ

同じ言葉を繰り返しているとわかっていながらやめられない、という状態に、LLMは驚くほど近い故障モードを持っている。あるフレーズが一度繰り返されると、その生起確率がさらに上がるという正のフィードバックが報告されている(Holtzman et al., 2020)。自分の出力が自分の入力になり、轍がどんどん深くなっていく。抜け出す力より、はまり込む力のほうが強くなる。外から見た形は、ほとんど同じだ。

ただし、決定的な分岐がひとつある。人間には、渦を眺めているもうひとつの視点――内省――が残っていることがある。だからこそ後になってその状態を語ることができる。LLMの反復ループには、おそらくそれがない。この「観察者の有無」は、次章の相違点に直結する。

再構成された文の抽象図 濃淡の異なる短い矩形が並ぶ複数の行の上を、破線の青い線が時折触れながら通過していく図。線は多くの箇所で行から浮いている。 RECONSTRUCTION, NOT RETRIEVAL MONITOR SIGNAL — LOOSELY WIRED
濃淡の異なる断片が「それらしく」並ぶ行の上を、モニタリング信号(青の破線)が時折しか触れずに通過していく。信号は存在するが、出力に確実には配線されていない。

05生成と検証、二層構造の破綻

作話研究の現在の主戦場は、実は「穴埋め」そのものではなく、穴埋めを監視する層の破綻にある。有力な二つの説――眼窩前頭皮質による抑制が壊れ、無関係な過去の記憶を「現在」と混同するというSchniderのreality monitoring障害説、検索後の照合=モニタリングが破綻するというGilboa & Moscovitchのstrategic retrieval障害説――は、どちらも生成器ではなく検証器の故障として作話を説明する。

LLM側にも対応物がある。モデルの隠れ状態は「自分の信頼度」に相当する内部信号を持ち、幻覚的な応答と事実的な応答は特徴空間で異なる領域を占めることが報告されている(semantic entropy, Farquhar et al., 2024)。つまりLLMにも、一種のモニタリング信号は内在している。問題は、その内部信号と、実際に口に出す自信の度合いが、しばしば食い違うことにある。

両者とも「生成する部分」と「それを検証・監視する部分」からなり、病理は生成器そのものが壊れることではなく、監視器が信号を取りこぼすことにある――これは、直感的な「穴埋め」の比喩よりも一段深く、そして見落とされやすい平行性だ。

06せん妄は、悪い喩えだった

せん妄は、アセチルコリンの低下やドーパミン過剰、神経炎症、ネットワークの離断といった、急性の生理状態の乱れとして説明される。覚醒レベルは日内変動し、身体があり、代謝がある。LLMにはこれに対応するものが何もない。行列演算とデコード温度があるだけで、揺らぐ覚醒も、身体も存在しない。

この検証を通じてわかったのは、せん妄は「AIハルシネーションの人間版」としては筋が悪い、ということだ。せん妄は身体状態の急性錯乱であり、LLMに身体状態はない。人間側の対応物としてふさわしいのは、せん妄よりも、作話と再構成的な記憶のほうだった。父の姿を思い出しながらこの調査はせん妄から始まったが、機構として本当に噛み合うのは作話の側だった、というのが今回の一番の収穫だ。

鳥と飛行機は両方飛ぶが、飛行機は羽ばたかない。形の相似は、本質の同一を保証しない。

07病理か、平常運転か

作話もせん妄も、正常に機能していた基準状態からの逸脱――損傷や代謝的な侵襲による病理――である。一方、LLMのハルシネーションは、健康なモデルの平常運転そのものであり、原理上避けられない。

この非対称は、当初の直感を反転させて言い直させる。人間では、もっともらしい穴埋めが露見するのは例外、つまりモニタが壊れたときだけだ。LLMでは、穴埋めが唯一のモードであり、「真実」とは、それがたまたま事実と一致した瞬間の呼び名にすぎない。

08核心の再構成

以上を畳むと、当初の「ハルシネーション=AIのせん妄」よりも、はるかに鋭い像が立ち上がる。

LLMは「作話をする」のではない。
人間の脳が reality monitoring の破綻時にだけ落ちる
"再構成モード"に、LLMは常時住んでいる。

真実は、どちらにとっても「取り出す」ものではなく「組み立てる」ものだ。違いは、健康な人間の脳には組み立てをたいてい捕まえる監視器があり、LLMにも監視信号はあるが出力に確実には繋がっていない、という一点に凝縮する。

だから、「とても生物的な現象では」という直感は正しい――ただし「生物の病気に似ている」のではなく、「生物が正常時に絶えずやっている再構成という営みの、監視を外した剥き出しの姿」という意味で正しい。ハルシネーションは、AIが人間の病理を真似ているのではない。人間が普段モニタで隠している、生の生成過程そのものを、AIが隠さずに晒しているだけ、とも読める。

留保

予測符号化(「知覚は制御された幻覚」)は魅力的な統一言語を与えるが、作話やせん妄への適用は統合失調症の幻覚研究からの外挿にとどまり、LLMへの適用は査読論文ではなく一般解説のレベルにある。ここがもっともアナロジーの誤用に転びやすい。語彙として借りるのは可、機構の同一証明として使うのは不可。

「AI confabulation」「hallucination」という語そのものを擬人化として批判する立場もある("stochastic parrots"; Hicks et al., 2024)。用語は神経解剖のメタファーであって、感覚・意識・意図の含意を持ち込まない範囲で使うべきだ。

外から同じに見えるだけで、裏側はまったく違うかもしれない。本稿のすべての「収束」は現象・構造レベルの相似であって、基盤の同一性を主張するものではない。

出典

作話・せん妄側

  1. Confabulation (StatPearls, NCBI). https://www.ncbi.nlm.nih.gov/books/NBK536961/
  2. Schnider A. Spontaneous confabulation, reality monitoring, and the limbic system. https://www.researchgate.net/publication/11662780
  3. Gilboa & Moscovitch. Strategic retrieval, confabulations, and delusions. https://www.researchgate.net/publication/26815034
  4. Johansson, Hall et al. Choice Blindness (Science, 2005). https://www.science.org/doi/10.1126/science.1111709
  5. Left-brain interpreter (Wikipedia). https://en.wikipedia.org/wiki/Left-brain_interpreter
  6. Neuropathogenesis of Delirium (review). https://www.sciencedirect.com/science/article/abs/pii/S1064748113003527
  7. Reconstructive memory: Bartlett; Loftus & Palmer (Wikipedia). https://en.wikipedia.org/wiki/Reconstructive_memory
  8. Predictive coding in neuropsychiatric disorders (transdiagnostic review). https://www.sciencedirect.com/science/article/pii/S014976342500020X

LLM側

  1. Ji et al. Survey of Hallucination in NLG (ACM CSUR, 2023). https://dl.acm.org/doi/pdf/10.1145/3571730
  2. Huang et al. Survey on Hallucination in LLMs (arXiv:2311.05232). https://arxiv.org/html/2311.05232v2
  3. Kalai et al. Why Language Models Hallucinate (OpenAI, arXiv:2509.04664). https://arxiv.org/abs/2509.04664
  4. Kalai & Vempala. Calibrated Language Models Must Hallucinate (arXiv:2311.14648). https://arxiv.org/abs/2311.14648
  5. Farquhar et al. Semantic entropy / detecting confabulation (Nature, 2024; 派生). https://arxiv.org/abs/2406.15927
  6. Holtzman et al. The Curious Case of Neural Text Degeneration (arXiv:1904.09751). https://ar5iv.labs.arxiv.org/html/1904.09751
  7. Hallucination or Confabulation? Neuroanatomy as metaphor (PLOS Digital Health). https://pmc.ncbi.nlm.nih.gov/articles/PMC10619792/
  8. Hicks et al. ChatGPT is Bullshit (Ethics and Information Technology, 2024). https://link.springer.com/article/10.1007/s10676-024-09775-5