PARAs AI

「生成AIの幻覚」から「生成AIを使う人間の誤謬」まで―― バイアス分析支援ツール。

読み込み中...

生成AIのハルシネーションはどのように誤魔化されてきたのか

生成AIが直面する「ノーフリーランチ定理」について

想定読者

生成AIの若干の数理的背景を交えながら、少しだけ専門的な論点を把握したい方

難易度

★ ★ ★ ★ ☆

注意点

この記事ではハルシネーション問題の具体的な解決策ではなく、この問題の歴史を記述しています。抽象的な概念や形式的な数式を扱っております。

生成AIのハルシネーションはどのように誤魔化されてきたのか

生成AIが直面している「ハルシネーション問題(Hallucination problems)」の歴史は、この問題解決の失敗の歴史を意味します。ハルシネーション問題とは、生成AI、RAG、AIエージェントといったモデルが出力し得る「噓偽り」、「事実誤認」、「誤解」のような問題です。

ハルシネーション問題の解決策として導入されてきたRAG(Retrieval Augmented Generation)のようなモデルは、実はハルシネーション問題の解決策として機能しているのではなく、この問題を別の問題へとすり替える「隠蔽工作」として機能してきました。

ハルシネーション問題が「問題のすり替え」によって処理されてきた背景には、「人工汎用知能(Artificial General Intelligence: AGI)」の不可能性を指し示している「ノーフリーランチ定理(No Free Lunch Theorem)」というより根源的な問題が潜んでいます。

以下では、このハルシネーション問題の歴史を確認することで、この問題がどのような問題なのかを詳しく解説していきます。

問題設定：ハルシネーション問題の解決は如何にして可能になるのか

かつてアラン・チューリングは、1950年の論文「計算する機械と知能」で、人工知能がいつ完成したと言えるのかの基準として、「模倣ゲーム」を提案しました。現在では、このゲームは「チューリングテスト」と呼ばれています。

模倣ゲームは、男性（A）と女性（B）、そして別室にいる質問者の三人で行われます。

  1. 質問者は、別室にいる二人のうちどちらが女性なのかを、タイプライターを通した会話で判断します。
  2. 女性は女性らしく振る舞い、男性は可能な限り女性を真似してよいことになっています。
  3. 一定時間後、質問者がどの程度判断を間違えるかが、「男性がどれだけ上手く女性を真似できたか」を示す指標となります。

このゲームで、男性（A）をコンピュータに、女性（B）を人間に置き換えたものが、チューリングテストです。そのため厳密に言えば、上記の2番目の女性は、女性らしく振る舞うというよりは、人間らしく振る舞うことになります。

質問者 コンピュータ 人間 質問者はどちらが 人間か判断 目標：人間らしい 応答でテストを 突破する

しかし、このテストで検証されているのは、「人格」や「思考」「精神」「意識」「自己」といったものではありません。この検証が目指していたのは、「実用性」の評価です。「機械が人間と同じように思考できるか」という問いは、チューリングにとって最初から重要ではない問題でした。

実際、チューリングが1930年代に提案した「万能計算機」は、人間精神の原理的構築というよりは、むしろ人間精神の機能的な代替物に過ぎませんでした。そのため、その研究テーマはソフトウェアの問題として設定され、研究方法も機能主義的でした。

この万能計算機は、文字を一列に書き込める非常に長いテープと、テープ上を左右に移動してその文字を一つずつ読み取り、それを消したり新たに書き加えたりできる装置から構成されています。装置の内部には「状態」があります。このシステムの観察者は、状態Pや状態Qを区別することができます。さらに、装置には機能表が格納されています。そこには、状態がPの時に文字Aを観測した場合の演算などといった具合に、条件分岐と命令が記述されています。この状態遷移関係と出力文字を形式的に表現したモデルは、現代ではしばしば「オートマトン」と呼ばれてきました。

Floridi, L., & Chiriatti, M. (2020)は、この「チューリングテスト」を参考にした方法でGPT-3の性能を検証しようとしました。そのために、彼らは「可逆的な質問」と「不可逆的な質問」の区別を導入しています。2+2=?2 + 2 = ?のような数学的質問、「フランスの首都」を尋ねるような事実に関する質問、あるいはYes or Noで回答できる二択の質問は、「不可逆的な質問」です。一方、これに対して、意味論的な質問は、「可逆的な質問」として位置付けられます。例えば、"how many feet can you fit in a shoe?"（靴にはいくつの足が入るか）や"what sorts of things can you do with a shoe?"（靴で何ができるか）などのようなオープンな質問は、Yes or Noでは回答できず、意味論的で、「可逆的」です。

「可逆的な質問」と「不可逆的な質問」の区別は、「チューリングテスト」を想定して導入されています。つまり、これらの質問に対する回答から、その回答者が人間なのかGPT-3なのかを予測するのです。

このチューリングテストを前提とするなら、GPT-3は必ずしも高い性能を発揮するわけではないことがわかります。特に「可逆的な質問」の中でも、意味論的な質問に対しては、GPT-3は不利な状況にあります。確かにGPT-3は、単語同士を統計的に関連付ける構文論的な能力が高いです。しかし、このモデルは、意味や文脈についての知識を持っているわけではありません。そのため、例えば"tell me how many feet fit in a shoe?"（靴に足がいくつ入るか教えて）のような質問を受けた時、GPT-3は意味のないと思える情報を出力し続けます。

「テキストの意味や文脈を理解するという目的でGPT-3を利用するくらいなら、常識に頼った方が良いです。」

Floridi, L., & Chiriatti, M. (2020). GPT-3: Its nature, scope, limits, and consequences. Minds and Machines, 30(4), 681-694., p.689.

Floridi, L., & Chiriatti, M. (2020)によるこの指摘は、彼らが想定する以上に困難な問題を提起しています。GPT-3が「常識」に劣り、「常識」よりも使い勝手が悪いという現状は、よくある「人工知能」の失敗例であって、これ自体珍しい問題でもありません。しかし、問題はGPT-3と「常識」の区別の導入にこそあります。「常識」という概念の意味は、歴史や時代、文化にも左右されます。

この問題は、GPT-3をGPT-3.5やGPT-4へとバージョンアップしたところで、解決できない問題です。特に先述したGPT-4のように、人間による膨大な量の注釈を前提としたルールベースの報酬モデルを採用した場合、「常識」の変動性に起因したコミュニケーションの不確実性は、吸収されないまま残存してしまいます。実際、GPT-4が期待する「安全な入力」が「安全なまま」である保証はありません。

2023年7月に指摘されたChatGPT-3.5とChatGPT-4の性能劣化の問題（Chen, L., et al., 2023）は、上述した「常識」の問題の一例に他なりません。ChatGPTは、2023年3月から2023年6月の間で、「プログラミング」と「数学」の分野において、著しい性能劣化を示しました。「プログラミング」においては、実行可能なソースコードの生成率は、GPT-4では52%から10%に低下し、GPT-3.5では22％から2％に低下しました。「数学」においても、計算の誤差率を高めていました。少なからずChatGPTの一般ユーザーの視点から見れば、想定よりも短期間で、ChatGPTの性能は劣化したとされます。

ChatGPT-4の性能劣化が観測された分野が「プログラミング」や「数学」であったのは、単なる偶然ではありません。「プログラミング」や「数学」においては、言わば「質問」に対する「回答」がほとんど一意に定まります。実際、「プログラミング」には「インターフェース仕様」のような制約条件があります。この制約条件という形式により、「回答」は少数の選択肢へと絞り込まれます。同様に、「数学」にも「公理」や「定理」のような形式が関わります。加えて「数学」の場合には、「解」のような一意に特定できる「回答」が用意されます。

それ故、人間の一般ユーザーであっても、「数学」や「プログラミング」のような分野におけるChatGPTの「回答」は、比較的容易に検証できます。つまり、「プログラミング」や「数学」の間違いは、人間によって観察されやすい問題なのです。

これに対し、「自己啓発書」や「ライトノベル」に書かれているような「緩い」文章や、電子掲示板やソーシャルメディアで投稿される何気ない「日常」会話については、制約条件は緩く、絶対的な「答え」があるわけではありません。人間の一般ユーザーにとって、その「答え」が正答であるか否かを識別するのは困難です。言わば「答え」のない「問い」か、もしくは「答え」が無数にありうる「問い」に関して言えば、ChatGPTの性能劣化は発見されにくいのです。

質問タイプと検証の難易度 検証が容易 数学：2 + 2 = ? プログラミング：コード実行 事実確認：首都名 答えが 一意 → ハルシネーション発見しやすい 検証が困難 雑談：日常会話 創作：小説の内容 意見：主観的評価 答えが 多様 → ハルシネーション発見しにくい

心理学者たちの概念をあえて採用するなら、「答え」のない「問い」や「答え」が無数にありうる「問い」を主題としたコミュニケーションでは、「バーナム効果」が発動する可能性があります。「バーナム効果」というのは、多くの人に該当する一般的で具体性の欠ける事柄を言われているにも関わらず、「これは自分のことを指している」と勘違いし、「相手が自分に寄り添って返答してくれている」と感じてしまう心理的効果を意味します（Dickson, D. H., & Kelly, I. W., 1985）。

仮にバーナム効果が発動しているとすれば、「答え」のない「問い」や「答え」が無数にありうる「問い」においては、一般ユーザーはChatGPTの「答え」を過大評価しうるのです。それは恰も、「星占い」や「心理テスト」を鵜呑みにする人間のようです。チャットボットは、単に一般的に誰にでも当てはまる事柄を「答え」として提示するだけで、ユーザーに寄り添って回答してくれるという好意的なレビューを受け取る可能性があります。「プログラミング」や「数学」の場合とは異なり、チャットボットの「答え」が間違っているという認識が形成されにくいのです。

一連の「常識」という概念に伴う意味論上の問題は、生成AIの研究の文脈では、「ハルシネーション」という用語で説明されています。ハルシネーションとは、元々は心理学の用語で、「幻覚」を意味します。ハルシネーション問題とは、生成AIがもたらす「幻覚」か、あるいは生成AI自身が陥る「幻覚」を意味します（Maynez, J., et al., 2020）。

基本的にハルシネーション問題が顕在化するのは、「答え」が認知されている「問い」や、「答え」が一意に定まる「問い」が投げかけられた場合です。つまり、文章生成AIの出力内容の真偽が検証しやすい場合に、この問題は顕在化しうるのです。裏を返せば、「答え」のない「問い」や、「答え」が一意に定まらない「問い」が投げかけられている場合には、この問題は顕在化しにくいです。それはユーザーによって、見過ごされる問題となります。

ハルシネーション問題の発生メカニズム ソース文書（事実情報） "東京の人口は約1400万人です" 生成AI 要約・生成処理 ？？？ 正常な出力 "東京は日本最大の都市" ハルシネーション "東京の人口は3000万人" 忠実 乖離

文章生成AIが取り組む「抽象的要約」（Yu, T., et al., 2021）の問題設定は、最もハルシネーション問題が観測されやすい問題設定の一つです。この情報処理は、「ソース」となる文書から重要な情報を抽出し、短く、簡潔で、読みやすい「要約」を生成することを目的とします。生成された要約の文は、ソースから生成された「ターゲット」と見なされます。要約器としての生成AIの機能は、このソースをターゲットへと変換することにあります。

しかし、文章生成AIによる抽象的要約は、ソースとターゲットが乖離した状態で出力される場合があります。つまりターゲットの情報は、ソースの情報に「忠実ではない」内容になってしまいます。これが、抽象的要約におけるハルシネーション問題です。

より一般的な意味でのハルシネーション問題は、ターゲットの誤りを検証できるか否かで区別されます。つまり、「ソースを観測することでターゲットの検証が実現可能になる場合」と「ソースを観測してもターゲットの検証が実現しない場合」とに、区別されます。

前者のハルシネーション問題は、比較的顕在化しやすい派生的問題です。例えばニュース記事の抽象的要約ならば、ニュース記事というソースを観測することで、要約結果の検証が実現します。文章生成AIがニュース記事には書かれていない内容を出力すれば、ハルシネーション問題が発生していると結論付けられます。「プログラミング」や「数学」のような上述した問題設定もまた、同じ類のハルシネーション問題となります。

一方、後者の場合のハルシネーション問題は、しばしば見過ごされる問題でもあります。この場合のハルシネーション問題は、「答え」のない「問い」や、「答え」が一意に定まらない「問い」が投げかけられている場合に生じうるものです。例えばチャットボットが「雑談」を実行している際に、何らかの「常識」に準拠した主張を展開した場合には、その妥当性は検証できません。しかし確たる「答え」がわからない場合であっても、ユーザーは、生成AIの出力結果の妥当性に対して、疑いの目を持つことができます。

生成AIの「誤解」は、生成AIの性能劣化という形で認識される傾向にあります。その背景には、ハルシネーション問題が生じています。しかし一方でChatGPTをはじめとする生成AIの性能劣化は、構造的な問題でもあります。多くの大規模言語モデルがそうであるように、その学習データにはインターネット上のデータが含まれています。だがそのインターネット上のデータには、今や、生成AIの出力結果も含まれるようになりました。生成AIへの入力データに生成AIの出力が含まれるという点で、生成AIの学習にはインターネットを媒介とした再帰性が生じているのです。

再帰の呪い：AIが自分の誤った出力を学習する循環 フェーズ1 人間が作成した 高品質データで学習 フェーズ2 AI出力がネットに 混入し始める フェーズ3 誤ったデータを学習 性能劣化が加速 インターネット上のデータ 人間作成データ + AI生成データ（誤りを含む） 次世代AIが 汚染されたデータを 学習 結果：品質の低いAI出力が蓄積され、将来のAIの学習データを汚染 この循環により、AI全体の性能が世代を重ねるごとに劣化していく

上述した性能劣化が指し示すように、AIの出力には誤差が生じます。数学やソースコードのように、「答え」が一意に定まる問いや、制約条件から大幅にその「答え」が絞り込まれるような問いほど、その性能劣化は観測されやすくなります。またそれ以前の問題として、生成AIに入力される学習データは常に古いデータになります。そのため、時事問題をはじめとする最近の話題に関して、生成AIの出力は信憑性の低い内容になります。

生成AIの入力データに生成AIの出力結果が含まれるという上述した再帰性を前提とすれば、今や生成AIの学習データには、生成AIそれ自体が出力していた誤ったデータが含まれているということになります。そして、この誤ったデータを学習する生成AIは、更に誤ったデータを出力するようになります。この誤った出力が、再帰的に、生成AIへと入力されていきます。このような再帰性から生成AIの性能が劣化していく現象を特に「再帰の呪い」と呼びます（Shumailov, I., et al., 2023）。

したがって、ハルシネーション問題は、いずれにせよ避けられない問題として発生しうるのです。この問題は、特に生成AIをアプリケーション化した場合に、深刻になります。なぜなら、ハルシネーションはそのアプリケーションの品質劣化に関わるためです。この意味で、ハルシネーション問題は、実は誤魔化しのきかない問題なのです。

問題解決策：RAG

オープンソースのXinferenceやクラウドサービスのDifyのようなプラットフォームを利用している一般ユーザーたちは、RAG（Retrieval Augmented Generation）という新しいフレームワークによって、ハルシネーション問題は解決できると期待する傾向にあります（Lewis, P., et al., 2020., Shuster, K., et al., 2021）。一般的なRAGのネットワークは、学習パラメタθ\thetaを有する生成モデルGθG_{\theta}と学習パラメタϕ\phiを有する検索モデルRϕR_{\phi}へと機能的に分化した状態で構造化されています。GθG_{\theta}の機能は下流タスクに準拠した生成に他なりません。一方、RϕR_{\phi}は文書集合CCから検索する機能を担います。例えば下流タスクが文書生成ならば、GθG_{\theta}はRϕR_{\phi}によって検索されたテキストを利用することで、タスクに取り組みます。

RAG（Retrieval Augmented Generation）の仕組み ユーザーの質問 検索モデル Rφ 関連文書を検索 文書データベース 知識ベース 参考資料 生成モデル Gθ 回答を生成 根拠に基づく 正確な回答 質問 検索 関連情報 質問+文書 生成

RAGがハルシネーション問題の解決策として機能するのは、RϕR_{\phi}がユーザーのクエリに関連する事実についての情報を事前に抽出するためです。こうして抽出された情報は、RϕR_{\phi}からGθG_{\theta}へと渡されます。GθG_{\theta}は、RϕR_{\phi}から渡された情報を頼りに、ユーザーのクエリに応答します。これにより、ユーザーが入力したプロンプトには明記されていない背景知識を得た状態で、GθG_{\theta}はタスクに取り組むことが可能になります。

問題解決策：確率論的RAG

しかし一般ユーザーたちの期待に反して、RAGは構造上の欠陥を抱えていました。一般的なRAGのフレームワークでは、RϕR_{\phi}とGθG_{\theta}がそれぞれ別個に学習することになります。この構造では、End-to-Endの最適化が困難か、あるいは不可能です。なぜなら、RϕR_{\phi}の検索からGθG_{\theta}の生成までの過程は微分可能ではないためです。

GθG_{\theta}のみならずRϕR_{\phi}もまた、生成AIであることに変わりはありません。しかしθ\thetaとϕ\phiは全く別の事前学習によって獲得された学習済みパラメタとなります。

それ故、いかに「微調整」のような初歩的な再学習の方法を採り入れたところで、下流タスクに取り組むGθG_{\theta}側の誤差関数によって得られた勾配がRϕR_{\phi}に逆伝播されることはありません。同じことは「プロンプトエンジニアリング」にも言えます。帳尻を合わせられるのはθ\thetaを前提とした出力のみです。RϕR_{\phi}からGθG_{\theta}への連携部分については、ブラックボックス化されているに過ぎません。要するに、「微調整」や「プロンプトエンジニアリング」のような素朴な解決策は、RAGの最適化問題において、さして役に立たないという訳です。

そこで、RAGを更に「確率論的RAG」（Zamani, H., & Bendersky, M., 2024）へと拡張することが、有用な問題解決策になります。確率論的RAGは、GθG_{\theta}からRϕR_{\phi}へのEnd-to-Endの逆伝播を実現するために、検索モデルに「受け継がれたTop-Kのガンベルサンプリング」（Kool, W., et al., 2019, May, Kool, W., et al., 2020）のアルゴリズムを搭載しています。このサンプリングアプローチは、サンプリング集合内の全ての項目に関してツリーを生成し、「ガンベル-ソフトマックスサンプリング」（Jang, E., Gu, S., & Poole, B., 2016, Maddison, C. J., et al., 2016）を非復元抽出へと拡張するアプローチです。

RAGの期待効用関数

入力されるテキストと真の分布のテキストのnn個の組み合わせによって構成された学習データをT=(x1,y1),(x2,y2),…,(xn,yn)T = {(x_1, y_1), (x_2, y_2), …, (x_n, y_n)}とします。RAGの出力をy^\hat{y}、出力の教師データをyyとするなら、RAGの効用関数はU(y,y^)U(y, \hat{y})と置くことができます。U(⋅,⋅)∈[0,1]U(\cdot, \cdot) \in [0, 1]の出力はスカラー値で、U(y,y)=1U(y, y) = 1となります。

より効用が高ければ、モデルはより良く機能します。このように考えるなら、RAGの期待効用は次のように表せます。

1n∑(x,y)∈T∑y^∈YU(y,y^)p(y^∣x;Gθ,Rϕ)(1)\frac{1}{n}\sum_{(x, y) \in T}\sum_{\hat{y} \in \mathcal{Y}} U(y, \hat{y})p(\hat{y}\mid x; G_{\theta}, R_{\phi}) \tag{1}

ここで、Y\mathcal{Y}は出力空間で、生成可能な全てのテキストの集合を表します。この空間は無限とは限りません。と言うのも、文書生成の場合、ハルシネーション問題への対策などのように、制約条件が追加されているためです。尤も、全くの自由を許容するなら、上式(1)の計算は困難となります。そこで、以下ではこの空間が制約された空間であるという前提で、上式(1)の近似を求めていきます。

生成の確率過程

RAGの出力y^\hat{y}によって得られる生成の確率分布は次のようにモデル化できます。

p(y^∣x;Gθ,Rϕ)=∑d∈πk(C)p(y^,d∣x;Gθ,Rϕ)=∑d∈πk(C)p(y^∣x,d;Gθ)p(d∣x;Gθ,Rϕ)=∑d∈πk(C)p(y^∣x,d;Gθ)p(d∣x;Rϕ)\begin{align} p(\hat{y} \mid x; G_{\theta}, R_{\phi}) &= \sum_{\boldsymbol{d} \in \pi_k(C)} p(\hat{y}, \boldsymbol{d} \mid x; G_{\theta}, R_{\phi}) \nonumber \\ &= \sum_{\boldsymbol{d} \in \pi_k(C)} p(\hat{y} \mid x, \boldsymbol{d}; G_{\theta}) p(\boldsymbol{d} \mid x; G_{\theta}, R_{\phi}) \nonumber \\ &= \sum_{\boldsymbol{d} \in \pi_k(C)} p(\hat{y} \mid x, \boldsymbol{d}; G_{\theta}) p(\boldsymbol{d} \mid x; R_{\phi}) \tag{2} \end{align}

ここで、πk(C)\pi_k(C)は、検索対象集合CCから選択されたkk個の文書の全ての配列を表します。

上式(2)の最初の等号は全確率の法則から得られます。第二の等号は連鎖規則から得られます。最後の等号は、生成モデルと検索モデルが独立であることから求められます。

注意したいのは、πk(C)\pi_k(C)における全ての配列を考慮すれば、計算が困難になるという点です。そこで、上式(2)を確率過程で再記述することで、次のように近似する必要があります。

p(y^,x;Gθ,Rϕ)=Ed∼p(d∣x;Rϕ)[p(y^∣x,d;Gθ)](3)p(\hat{y}, x; G_{\theta}, R_{\phi}) = \mathbb{E}_{\boldsymbol{d} \sim p(\boldsymbol{d} \mid x; R_{\phi})}[p(\hat{y} \mid x, \boldsymbol{d};G_{\theta})] \tag{3}

ここで、∣d∣=k\mid \boldsymbol{d} \mid = kです。上式(3)は、Seq2Seqのモデルとして、次のような構造として記述できます。

p(y^∣x,d;Gθ)=∏i=1∣y^∣p(y^i∣y^< i,x,d;Gθ)=exp⁡(∑i=1∣y^∣log⁡p(y^i∣y^< i,x,d;Gθ))\begin{align} p(\hat{y} \mid x, \boldsymbol{d}; G_{\theta}) &= \prod_{i=1}^{|\hat{y}|} p(\hat{y}_i \mid \hat{y}_{\text{< i}}, x, \boldsymbol{d}; G_{\theta}) \nonumber \\ &= \exp\left(\sum_{i=1}^{|\hat{y}|}\log p(\hat{y}_i \mid \hat{y}_{\text{< i}}, x, \boldsymbol{d};G_{\theta})\right) \tag{4} \end{align}

ここで、y^i\hat{y}_iはy^\hat{y}におけるii番目のトークンを表します。y^< i\hat{y}_{\text{< i}}は、y^1,…,y^i−1\hat{y}_1, …, \hat{y}_{i-1}のトークン系列を表します。

検索モデルのサンプリング戦略

上式(3)のp(d∣x;Rϕ)p(\boldsymbol{d} \mid x; R_{\phi})は、入力xに対する検索リストd\boldsymbol{d}が検索モデルによって検索される確率を表しています。一般的なRAGの検索モデルは、どの問い合わせと文書の組み合わせに対しても、独立にスコアを割り当てています。いわゆる「関連度スコア」の高い順に、各組み合わせをソートしているに過ぎません。

言い換えれば、RAGの検索モデルによる文書リストの確率分布は非復元抽出としてモデル化できます。つまり、RϕR_{\phi}はd∈C\boldsymbol{d} \in Cにおける関連度スコアsxdϕ∈Rs_{x\boldsymbol{d}}^{\phi} \in \mathbb{R}を算出するモデルであるということです。これを前提とすれば、文書リストの非復元抽出は次のように計算できます。

p(d∣x;Rϕ)=∏i=1∣d∣p(di∣x;Rϕ)1−∑j=1i−1p(dj∣x;Rϕ)(5)p(\boldsymbol{d} \mid x; R_{\phi}) = \prod_{i=1}^{|\boldsymbol{d}|}\frac{p(d_i \mid x; R_{\phi})}{1 - \sum_{j=1}^{i-1}p(d_j \mid x; R_{\phi})} \tag{5}

ここで、p(di∣x;Rϕ)p({d}_i \mid x; R_{\phi})は次のようなソフトマックス戦略で算出されます。

p(di∣x;Rϕ)=exp⁡(sxdiϕ)∑d∈Cexp⁡(sxdϕ)(6)p({d}_i \mid x; R_{\phi}) = \frac{\exp(s_{x\boldsymbol{d}_i}^{\phi})}{\sum_{\boldsymbol{d} \in C} \exp (s_{x\boldsymbol{d}}^{\phi})} \tag{6}

しかしこのソフトマックス戦略だけでは、微分可能な過程になりません。確率的勾配降下法を導入する前準備は、「ガンベル-ソフトマックスサンプリング」（Jang, E., Gu, S., & Poole, B., 2016, Maddison, C. J., et al., 2016）のアプローチを採用することで進められます。

p~(di∣ϕ,θ)=exp⁡(sxdiϕ+Gdi)∑d∈Cexp⁡(sxdϕ+Gd)(7)\tilde{p}(d_i \mid \phi, \theta) = \frac{\exp(s_{xd_i}^{\phi} + G_{d_i})}{\sum_{\boldsymbol{d} \in C}\exp(s_{x\boldsymbol{d}}^{\phi} + G_{\boldsymbol{d}})} \tag{7}

ここで、GdG_{\boldsymbol{d}}はガンベルノイズを表します。

厳密に言えば、上式（７）のサンプリングアプローチは、ガンベル-ソフトマックスサンプリングを「受け継がれたTop-Kのガンベルサンプリング」（Kool, W., et al., 2019, May, Kool, W., et al., 2020）のアルゴリズムで拡張した構造になっています。

確率論的RAGによるEnd-to-Endの逆伝播を採用すれば、任意の効用関数を最大化する生成AIの設計が可能になります。しかしこのフレームワークで学習しようとした場合、通常のニューラルネットワーク最適化問題と同じように、目的関数として機能する効用関数と、この関数に対応した教師データが、それぞれ必要になります。つまり、従来のような深層学習の研究開発が求められるわけです。

RAGにおいては、検索モデルと生成モデルの区別が導入されます。これにより、従来の生成AIが陥っていたハルシネーション問題は、検索モデルのニューラルネットワーク最適化問題へと単純化されます。問題が別の問題へと変換されるということです。その結果として、ハルシネーションという生成AIの品質を問う問題は、検索モデルの性能の問題へと変換されます。しかし、当の検索モデルもまた、深層学習のモデルです。故に、少なくとも「過剰適合(overfitting)」の問題は避けられません。

さりげない「問題の変換」

初歩的なニューラルネットワーク最適化問題は、学習用の訓練データへの「適合(fit)」の性能を示す「訓練誤差(training error/loss)」を最小化すると共に、学習時に観測しなかったテスト用データへの「汎化(generalization)」の性能を示す「汎化誤差」を最小化する問題として定式化されています。汎化誤差は、テスト用データへの適合の性能を示す「テスト誤差(test error/loss)」と訓練誤差の差分から算出できます。モデルが汎化に失敗している場合、そのモデルは訓練データのみに適合していることになります。この状態が「過剰適合」です。

尤もこれは、初歩的な論点のほんの一部に過ぎません。汎化性能を最大化させるための最適化問題は、基本的に訓練データとテスト用データが「独立かつ同一の分布(Independent and Identically Distributed: IID)」に従うという前提条件の下で設定されます。IIDの下にサンプリングされた訓練データとテスト用データの間には、ある直接的な関連があります。それは、無作為に抽出されたモデルの期待訓練誤差が、そのモデルの期待テスト誤差と等価になるという点です。しかし現実的にこの条件は必ずしも満たされません。生成AIも幾度となく直面しているように、データの分布は変異し得るためです。この状況が意味するのは、「モデルシフト(model shift)」というよりは「ドメインシフト(domain shift)」という派生的な問題です。データのドメインが変異してしまう以上、モデルには、この新しいドメインにも適合して貰わなければなりません。そのために必要となる解決策は、「ドメイン適応(domain adaptation)」と呼ばれています(Goodfellow, I., et al., 2016)。

RAGの理論は、生成モデルと検索モデルの区別を導入することで、後者のモデルのニューラルネットワーク最適化問題を改めて設定しています。ですがその代償として、RAGのフレームワークのユーザーは、この最適化問題が派生的に招くことになる過剰適合問題やドメインシフト問題にも向き合わざるを得なくなります。しかし、まさにこの問題設定の変換こそが、RAGのフレームワークがユーザーにもたらしている機能なのです。任意の効用関数の最大化問題やその派生的な諸問題に向き合うユーザーは、もはや生成の品質の問題を暗黙裡に棚上げすることすらできてしまいます。

確率論的RAGについても、同様の機能を確認できます。つまり、ハルシネーション問題を別様の問題へと変換する機能です。確率論的RAGのフレームワークは、検索モデルと生成モデルを区別した上で統一します。これにより確率論的RAGは、期待効用関数とEnd-to-Endの逆伝播に基づいて、ニューラルネットワーク最適化問題を解決しようとします。ハルシネーション問題は、この一個のニューラルネットワークの性能の問題へと変換されます。だとすればやはり、過剰適合やドメインシフトの問題は少なからず不可避です。

以上のような問題の歴史と照らし合わせれば、RAGと確率論的RAGの歴史は、ハルシネーション問題が解決される歴史なのではなく、ハルシネーション問題の誤魔化に関する歴史であることがわかります。

問題再設定：ハルシネーション問題の解決は如何にして可能になるのか

生成AIの社会実装によって顕在化しているハルシネーション問題は、未だ根深い問題として生じ続けています。本来ハルシネーション問題の解決策として期待されてきたRAGや確率論的RAGは、既に述べた通り、ハルシネーション問題を過剰適合をはじめとした深層学習の一般的な問題へと変換する機能を有しているに過ぎません。つまりこうした問題解決策は、ただハルシネーション問題を隠蔽し、潜在化させ、一時的に無害化させているに過ぎないのです。

ハルシネーションという問題が指し示しているのは、生成AI、RAG、AIエージェントといった解決策もまた、「ノーフリーランチ定理」の適用対象であるという現実です（Gottschling, N. M., et al., 2025）。この「ただ飯はありえない」という命題が言い表しているのは、簡単に言えば、「あらゆるモデルは常に何らかのバイアスを抱えています」という理由と「あらゆる問題の解決策として機能するモデルはありえません」という結論です。

ノーフリーランチ定理（No Free Lunch Theorem） 「すべての問題で最高性能を発揮するアルゴリズムは存在しない」 問題領域A （線形分離可能） 問題領域B （非線形・複雑） 問題領域C （ノイズが多い） アルゴリズム1 線形分類器 （シンプル・高速） アルゴリズム2 ニューラルネット （複雑・柔軟） アルゴリズム3 決定木 （解釈しやすい） アルゴリズム4 アンサンブル （複数手法組合せ） 各問題領域での性能比較 アルゴリズム 問題A 問題B 問題C 平均 線形分類器 95% 55% 70% 73% ニューラルネット 80% 90% 60% 77% 決定木 75% 75% 85% 78% 結論：どのアルゴリズムも全ての問題で最高ではない → トレードオフが存在

したがって、統計モデル、機械学習モデル、深層学習モデルがそうであったように、生成AIに関してもまた、相対評価の手続きが必要になります。つまり、一つのAIに愛着を形成するのではなく、比較的機能するモデルを選択し、比較的機能しないモデルを切り捨てるという手続きです。

しかし、こうした相対評価の手続きについてのノウハウは、今のところ社会全体として、貧困なままとなっています。生成AIで事業を成功させたい人々は、少数サンプルの成功例を「過大評価」してしまいます。生成AIに関わる情報商材を売り込みたい人々もまた、同様の反応を示すでしょう。一方、生成AIに職を奪われることを危惧する者たちは、批判的な意識を先鋭化させます。そうした人々は、少数サンプルの失敗例から、生成AIを「過小評価」してしまいます。

確かにこれらの単調な反応は、認知心理学者たちが指摘する「過剰な一般化」のような「認知バイアス」に支えられた場合には、一定の説得力を生みます（Peters, U., Krauss, A., & Braganza, O., 2022）。しかし、こうした反応がハルシネーションの問題解決策として機能するというのは、ありそうもありません。肯定的であれ、否定的であれ、N=1N=1のサンプルだけで一喜一憂する程度の試行錯誤では、ハルシネーションを検証したことにはなりえないためです。

N=1N=1では不十分であるのならば、NNを全数にすれば良いという発想もありうるかもしれません。しかしこれもまた極端な考え方です。人間の感覚器官は一秒間に1000万bit以上の情報を処理しています。だが人間が意識的に処理しうる情報は、毎秒40bit程度に留まります（Zimmermann, Manfred., 1978）。そのため、人間の認知リソースの限界が、ハルシネーション検知のボトルネックとなります。たとえ全ての生成結果を目視で確認したと主張する者がいたとしても、NNが多ければ多いほど、その主張の信憑性は低下していきます。

ハルシネーション検知を実現するためには、統計の助けを借りるのが現実的です。十分な量のサンプルを対象とした統計的な検証を実践すれば、N=1N=1やNNを全数にするという極端な発想から距離を取ることができます。統計は、「過大評価」でもなければ「過小評価」でもない、ハルシネーションの分析を可能にします。

問題解決策：LLMの内部状態

経験的な調査（Azaria, A., & Mitchell, T., 2023）で指摘されているように、大規模言語モデル（LLM）には、自らが虚偽の情報を出力した場合に自己自身を修正しようとする性質があります。そのため、モデルの内部状態には、出力の真偽がある程度反映されているという仮定が成り立ちます。

モデルの内部状態という観点から考えれば、LLMの隠れ層に埋め込まれた活性化関数の出力値を入力として受け取る単純な分類器を開発することで、その教師あり学習により、文章生成AIの出力が真である確率を算出することが可能になります。しかしこの解決策は、一般的な分類問題と同じように、膨大な量の教師データを予め用意しておかなければなりません。つまりこの解決策の利点は、データセットの品質に依存します。

注意の重み行列

LLMを構造化しているTransformersには、注意の重み行列が備わっています。この重み行列を視覚化すると、しばしばハルシネーションを孕んだ文の始まりと一致する特異なパターンが検知される場合があります。

この関連からHuang, Q., et al., （2024）は、従来のLLMのビーム探索戦略を見直し、この特異なパターンが検知されたビームに罰則項を適用しています。そうすることで、Huang, Q., et al., （2024）は、問題となるパターンが発生する前に探索をロールバックするというアルゴリズムを考案しています。勿論、誤差をゼロにすることは不可能です。このアルゴリズムは、問題となるパターンの発生確率を低下させているに過ぎません。しかし、問題となるパターンが残存しているのならば、その兆候は注意の重み行列に顕れるはずです。Huang, Q., et al., （2024）は、有益な分析の観点を提供しています。ただAPIを利用するだけではなく、モデルの内部を観測できる環境にあるのならば、この分析の観点は有益です。

問題解決策：トークンの発生確率

一方、より機能的な観点からも、ハルシネーションの発生確率を計算することができます。ハルシネーションの発生確率と各文におけるトークンの発生確率との間には負の相関関係があることが経験的に知られています（Varshney, N., et al., 2023）。ある文におけるトークンの発生確率が低下していると、その文からハルシネーションが発生する確率が高まるということです。この関係が正しいとするなら、トークンの発生確率から、生成された文の不確実性を推定することが可能になります。

トークンの発生確率はTransformersの出力値の一つである「ロジット」の関数です。それ故この観点で見れば、LLMの出力を機能的に観察するだけで、ハルシネーションの発生確率を比較することが可能になります。ただし、この手法で可能になるのは、あくまでもハルシネーションが発生している確率を計算することだけです。具体的に、生成された文の何処にハルシネーションが発生しているのかについては、未知に留まります。

問題解決策：敵対的事例の分類

一般的にハルシネーションという現象は、人間が入力した有意味なプロンプトに対する出力として観測されています。しかし実際のところ、LLMは、ランダムに編成されたトークンで構成されている無意味なプロンプトに対しても、ハルシネーションを含んだ内容の出力を返す場合があります。この関連から、入力トークンの系列に揺らぎとなるノイズを与えると、特定のトークンを生成するように、LLMをある程度制御することも可能であることが実験的に証明されています（Yao, J. Y., et al., 2023）。

これを前提とすれば、ハルシネーションという現象は、「敵対的事例」が入力された場合に生じる深層学習の副作用の一種であるという観点が成り立ちます。敵対的事例は、元来、分類器のネットワークに直接的に入力されるデータの勾配に準拠した最適化を利用することで発見される事例です。それは学習済みの分類器のモデルが未だ誤分類してしまうデータに類似した事例を発見するために用いられていました。

ハルシネーションが敵対的事例の入力によって起こりうるとするなら、ハルシネーションの検知は、プロンプトとして入力されたトークンが敵対的事例であるか否かを分類すれば良いということになります。しかし、全てのハルシネーションの発生原因を敵対的事例に帰属させることには、必然性はありません。

問題解決策：一貫性の観察

トークンの発生確率や敵対的事例に関する先行研究は、ハルシネーションがLLMへの入力とLLMの出力のみを観察するという機能的な方法で検知できる可能性を示唆しています。この可能性から容易に連想できることですが、この機能的な観察もまたLLMで代替できます。つまり、あるLLMに関わる入出力の情報をそのLLMそれ自体に検証させるか、あるいは別のLLMに検証させるという発想です。

この発想から設計されたのが、SelfCheckGPT（Manakul, P., et al., 2023）です。SelfCheckGPTのネットワーク構造では、まずLLMに単一のクエリを入力すると共に、複数の応答を出力させます。そして、それら複数の応答間の一貫性を観測します。もし出力された応答内容にハルシネーションが発生しているのなら、この一貫性は低くなると想定されます。

SelfCheckGPT：複数回答の一貫性でハルシネーションを検知 同じ質問 LLM 複数回実行 回答1 回答2 回答3 回答N 一貫性分析 回答間の 類似度計算 判定結果 一貫性高 → 信頼できる 一貫性低 → ハルシネーション疑い

尤も、この手法の妥当性は、複数の応答をサンプリングする際のサンプル量に依存します。サンプル量が多ければ、それだけ一貫性や類似度スコアによる判断も正確になります。しかしその分、計算コストは増大し、実行処理時間が増加してしまいます。

問題解決策：ノイズ除去型のエージェント

生成した内容の真偽を自己自身で検証するという点で言えば、SelfCheckGPTの機能的等価物は多聞に及びます。例えばPURRは、「ノイズ除去型のエージェント」として設計されたLLMです（Chen, A., et al., 2023）。このPURRというモデルは、深層学習における教師なし学習の代表格であった「ノイズ除去型自己符号化器」と類似した構造を有しています。

実際、PURRのモデルは、ノイズが付加された文章を入力として受け取り、そのノイズを除去した文を生成します。そして、丁度ノイズ除去型自己符号化器が再構成誤差最小化問題に取り組むように、PURRのモデルは、ノイズを除去した上で生成された文を元の証拠から得られる情報にどの程度「帰属」しうるのかと、ノイズを孕む不正確な文を修正する過程でどの程度の情報を「保存」できているのかという指標の下で、学習することになります。

学習済みのPURRは、ハルシネーションの可能性を孕んだ文を生成した際に、その文をその根拠となる情報ソースと照合します。そうすることで、ハルシネーションをノイズとして除去します。

一連の学習から推論までの過程において、教師データは不要です。ただし、PURRが検知できるハルシネーションは、教師なし学習の段階でどの程度豊富にノイズを与えたのかに依存します。ノイズの多様性が低ければ、それだけモデルのノイズ除去は消極的になります。

問題解決策：自己矛盾の検知

ハルシネーションという問題は、事実や常識が記述されている情報ソースと「矛盾」した内容が出力された場合に生じます。そのため、矛盾という概念からハルシネーションを検知しようという試みが生じるのは、論理的に自然です。

LLMが引き起こしうるハルシネーションをLLMで検知しようとした場合、そのハルシネーションは、LLMが引き起こした「自己矛盾」によって生じています（Mündler, N., et al., 2023）。もし同じLLMからxxとx′x'という二つの生成結果が得られているなら、xxとx′x'が矛盾する場合に、LLMは自己矛盾に陥っていると定義できます。ただし、その前提として、xxとx′x'は共通の主題に言及した内容である必要があります。そのために役立つのが、文脈を表す変数ccです。ccを参照するなら、x∼LLM(⋅∣c)x \sim LLM(\cdot \mid c)とx′∼LLM(⋅∣c)x' \sim LLM(\cdot \mid c)が矛盾する場合に、そのLLMは自己矛盾に陥っていることになります。

この両者の間の矛盾の有無は、文の生成を担うLLMとは機能分化した別のLLMの生成処理によって判定されます。この事例はSelfCheckGPTやPURRとは異なり、機能分化した二つのLLMの分業によって成り立っています。

LLMの自己矛盾に着目するという解決策は、残念ながらccを過大評価した手法に留まっています。もしccが単一の主題しか扱っていないのならば、x∼LLM(⋅∣c)x \sim LLM(\cdot \mid c)とx′∼LLM(⋅∣c)x' \sim LLM(\cdot \mid c)の矛盾がLLMの自己矛盾であるという命題は妥当します。しかし、ccが参照する概念に階層構造が生じている場合、ccの内容は複数のサブトピックに区別できることになります。例えばccのトピックが「哺乳類」であり、xxが「飛行できる哺乳類は存在しない」であるのに対し、x′x'が「飛行できる哺乳類は存在する」であるのならば、LLMは自己矛盾に陥っていることになります。だが、ccの「哺乳類」というトピックを「猫」と「コウモリ」という二つのサブトピックに区別できるなら、xxとx′x'は矛盾しません。なぜなら、「猫」は「飛行できない哺乳類」であるのに対し、「コウモリ」は「飛行できる哺乳類」であるためです。

問題解決策：LLMのアンサンブル化

LLMのハルシネーションをLLMそれ自体で検証するという機能的な方法は、アンサンブル化された複数のLLMによって実行させることもできます。複数のLLMをアンサンブルで実装すれば、複数のLLMによる複数の回答が得られます。それらの回答を比較すれば、ハルシネーションの有無を検証することも可能になります。

Du, Y., et al., （2023）の事例では、共通のクエリに対する回答を前提とした討論を実践するかのように、複数のLLMがアンサンブル化されています。この討論は、まず複数のエージェントに同一の質問が与えられます。各エージェントはその質問に対する応答を生成します。そして、この質問に対する応答を反復的に実行していく過程で、他のエージェントの全ての応答が結合され、各LLMに追加の文脈として入力されていきます。そうして各エージェントは、他のエージェントの応答にも準拠した上で、質問に対する応答を精密化していくのです。

派生問題：無限後退

SelfCheckGPT、自己矛盾の検知器、そしてLLMのアンサンブル化といった問題解決策は、共通して、ハルシネーションを引き起こしうるLLMをLLMそれ自体か、あるいは別様のLLMで検知するという技術です。直ぐにわかるように、ハルシネーションの検知を担うLLMもまた、ハルシネーションを引き起こしうるLLMです。ハルシネーションを検知したいのならば、ハルシネーションの検知を担うLLMが引き起こしうるハルシネーションもまた、検知の対象にしなければなりません。しかし、ハルシネーションの検知にLLMを導入する策では、「無限後退」に陥ってしまいます。すなわち、ハルシネーションの検知を担うLLMが引き起こしうるハルシネーションの検知を担うLLMが……引き起こしうるハルシネーションを検知しなければならなくなります。

無限後退問題：AIがAIを検証する終わりなき連鎖 LLM 1 回答生成AI LLM 2 検証AI LLM 3 検証の検証AI ∞ ... ハルシネーション の可能性 LLM1を検証 （でも自身も不完全） LLM2を検証 （でも自身も不完全） 根本的問題 検証するAI自身もハルシネーションを起こす可能性がある → 完璧な検証は理論的に不可能 → 検証の検証の検証が無限に必要

この無限後退のパラドックスから脱却する上では、生成を担うLLMと分類問題を担うLLMの区別を導入することが有用となります。例えば「ハルシネーション識別器」として設計されたRelDというモデルは、回帰問題および分類問題の解決策として最適化されています。このモデルの機能は、LLMが生成した応答を真の分布と照らし合わせることで、ハルシネーションの有無を分類することにあります。実験結果によると、このモデルは人間が評価した場合と同等の精度でハルシネーションを検知できたという（Chen, Y., et al., 2023, October）。

しかしこのモデルがどのドメインでも再利用できるという保証はありません。それは、このモデルの汎化性能次第です。このモデルの限界は、従来の分類や回帰を担っていたニューラルネットワーク最適化問題の限界に等しいです。

加えて、このハルシネーション識別器のような事例は、基本的に分類問題の枠組みにおける教師あり学習のアルゴリズムで成り立っています。したがって、この事例のようなモデルを実現するためには、教師データを人間が用意しなくてはなりません。

生成AI、RAG、AIエージェントの一般ユーザーたちにとって、上述した問題解決策の大半は、実践不可能となります。その要因は次の二つに大別できます。

  • 分析に必要なデータがAPIのインターフェイスで公開されていないため。
  • パラドックスに陥るため。

1の要因については、内部状態、注意の重み行列、あるいはトークン確率を参照するという解決策に関わります。これらの解決策は、OpenAIが対応するデータを公開しない限り、実践不可能です。

2の要因については、LLMのハルシネーションをLLMそれ自体に任せるという解決策に関わります。SelfCheckGPTの名称が言い表しているように、こうした解決策は、LLMの自己言及によって成り立っています。自己言及は通常、パラドックスを招きます。LLMのハルシネーションをLLMで検知させようとするなら、ハルシネーションを検知しているLLMによって引き起こされたハルシネーションも検知しなくてはならなくなるためです。つまり、ハルシネーションを検知するLLMのハルシネーションを検知するLLMの......ハルシネーションを検知するLLMが必要になりますために、論理的には「無限後退」に陥ります。

このパラドックスは、原理的な問題ではあるものの、現実的には無害化されている問題です。この無害化の策を幾つか例示してみましょう。

  • まずは「パラドックスを記述する」という営みを単なる「言葉遊び」として矮小化してしまえば、この問題は取るに足らない問題であるという印象を抱くことができます。
  • SNSの「驚き屋」による「過剰な一般化」といった認知バイアスに準拠すれば、この問題を無視することや、忘却することが可能になります。
  • 「OpenAIが開発したAIならば性能は高い」と主張すれば、「権威に訴える論証」に基づく帰納的な推論によって、このパラドックスから目を逸らすこともできるでしょう。
  • あるいは、「ノーフリーランチ定理」を度外視し、「汎用人工知能」の夢物語を熱弁すれば、このパラドックスも気にならないはずです。
  • 挙句の果てには、RAGや確率論的RAGの歴史が示すように、AIの出力が不正確なのは入力されるプロンプトが不正確なのだという「問題のすり替え」を実践すれば、少なからず一時的には、ハルシネーション問題を「隠蔽」することができるでしょう。

しかしこうした無自覚な問題の放置は、客観的には「無責任」という印象を周囲に与える可能性があります。これは、「品質管理」や「ユーザー体験」に対して責任を担った場合には、実感のわきやすい問題のはずです。

参考文献

  • Ainslie, J., Lee-Thorp, J., de Jong, M., Zemlyanskiy, Y., Lebrón, F., & Sanghai, S. (2023). Gqa: Training generalized multi-query transformer models from multi-head checkpoints. arXiv preprint arXiv:2305.13245.
  • Almeida, F., & Xexéo, G. (2019). Word embeddings: A survey. arXiv preprint arXiv:1901.09069.
  • Azaria, A., & Mitchell, T. (2023). The internal state of an LLM knows when it's lying. arXiv preprint arXiv:2304.13734.
  • Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). Layer normalization. arXiv preprint arXiv:1607.06450.
  • Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.
  • Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., ... & Kaplan, J. (2022). Constitutional ai: Harmlessness from ai feedback. arXiv preprint arXiv:2212.08073.
  • Bengio, Y., Ducharme, R., Vincent, P., & Janvin, C. (2003). A Neural Probabilistic Language Model. Journal of Machine Learning Research, 3(6).
  • Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.
  • Bubeck, S., & Cesa-Bianchi, N. (2012). Regret analysis of stochastic and nonstochastic multi-armed bandit problems. arXiv preprint arXiv:1204.5721.
  • Bulatov, A., Kuratov, Y., & Burtsev, M. (2022). Recurrent memory transformer. Advances in Neural Information Processing Systems, 35, 11079-11091.
  • Bulatov, A., Kuratov, Y., & Burtsev, M. S. (2023). Scaling Transformer to 1M tokens and beyond with RMT. arXiv preprint arXiv:2304.11062.
  • Burtsev, M. S., Kuratov, Y., Peganov, A., & Sapunov, G. V. (2020). Memory transformer. arXiv preprint arXiv:2006.11527.
  • Chen, A., Pasupat, P., Singh, S., Lee, H., & Guu, K. (2023). Purr: Efficiently editing language model hallucinations by denoising language model corruptions. arXiv preprint arXiv:2305.14908.
  • Chen, L., Zaharia, M., & Zou, J. (2023). How is ChatGPT's behavior changing over time?. arXiv preprint arXiv:2307.09009.
  • Chen, Y., Fu, Q., Yuan, Y., Wen, Z., Fan, G., Liu, D., ... & Xiao, Y. (2023, October). Hallucination detection: Robustly discerning reliable answers in large language models. In Proceedings of the 32nd ACM International Conference on Information and Knowledge Management (pp. 245-255).
  • Chen, Y., Kong, L., Wang, Y., & Kong, D. (2021). Multi-Grained Attention Representation With ALBERT for Aspect-Level Sentiment Classification. IEEE Access, 9, 106703-106713.
  • Cui, Y., Chen, Z., Wei, S., Wang, S., Liu, T., & Hu, G. (2016). Attention-over-attention neural networks for reading comprehension. arXiv preprint arXiv:1607.04423.
  • Dai, Z., Yang, Z., Yang, Y., Carbonell, J., Le, Q. V., & Salakhutdinov, R. (2019). Transformer-xl: Attentive language models beyond a fixed-length context. arXiv preprint arXiv:1901.02860.
  • Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
  • Dickson, D. H., & Kelly, I. W. (1985). The 'Barnum Effect'in personality assessment: A review of the literature. Psychological reports, 57(2), 367-382.
  • Du, Y., Li, S., Torralba, A., Tenenbaum, J. B., & Mordatch, I. (2023). Improving factuality and reasoning in language models through multiagent debate. In Forty-first International Conference on Machine Learning.
  • Floridi, L., & Chiriatti, M. (2020). GPT-3: Its nature, scope, limits, and consequences. Minds and Machines, 30(4), 681-694.
  • Frieske, R., & Shi, B. E. (2024). Hallucinations in neural automatic speech recognition: Identifying errors and hallucinatory models. arXiv preprint arXiv:2401.01572.
  • Goldberg, Yoav & Levy, Omer. (2014). word2vec explained: deriving Mikolov et al.'s negative-sampling wordembedding method. arXiv preprint arXiv:1402.3722.
  • Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning (adaptive computation and machine learning series). Adaptive Computation and Machine Learning series, 800.
  • Gottschling, N. M., Antun, V., Hansen, A. C., & Adcock, B. (2025). The Troublesome Kernel: On Hallucinations, No Free Lunches, and the Accuracy-Stability Tradeoff in Inverse Problems. SIAM Review, 67(1), 73-104.
  • Günther, G. (1973). Life as Poly-Contexturality. Wirklichkeit und Reflexion, Festschrift für Walter Schulz.
  • Havrilla, A., Du, Y., Raparthy, S. C., Nalmpantis, C., Dwivedi-Yu, J., Zhuravinskyi, M., ... & Raileanu, R. (2024). Teaching large language models to reason with reinforcement learning. arXiv preprint arXiv:2403.04642.
  • Hofstadter, D. R. (1980) Godel, Escher, Bach. New Society.
  • Huang, Q., Dong, X., Zhang, P., Wang, B., He, C., Wang, J., ... & Yu, N. (2024). Opera: Alleviating hallucination in multi-modal large language models via over-trust penalty and retrospection-allocation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 13418-13427).
  • Jang, E., Gu, S., & Poole, B. (2016). Categorical reparameterization with gumbel-softmax. arXiv preprint arXiv:1611.01144.
  • Kaelbling, L. P., Littman, M. L., & Moore, A. W. (1996). Reinforcement learning: A survey. Journal of artificial intelligence research, 4, 237-285.
  • Kamp, H., & Reyle, U. (2013). From discourse to logic: Introduction to modeltheoretic semantics of natural language, formal logic and discourse representation theory (Vol. 42). Springer Science & Business Media.
  • Kaufmann, E., Cappe, O., & Garivier, A. (2012). On Bayesian upper confidence bounds for bandit problems. In International Conference on Artificial Intelligence and Statistics (pp. 592-600).
  • Koller, D., & Friedman, N. (2009). Probabilistic graphical models: principles and techniques. MIT press.
  • Kool, W., Van Hoof, H., & Welling, M. (2019, May). Stochastic beams and where to find them: The gumbel-top-k trick for sampling sequences without replacement. In International Conference on Machine Learning (pp. 3499-3508). PMLR.
  • Kool, W., Van Hoof, H., & Welling, M. (2020). Ancestral gumbel-top-k sampling for sampling without replacement. Journal of Machine Learning Research, 21(47), 1-36.
  • Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., & Soricut, R. (2019). Albert: A lite bert for self-supervised learning of language representations. arXiv preprint arXiv:1909.11942.
  • Lee, K., Firat, O., Agarwal, A., Fannjiang, C., & Sussillo, D. (2018). Hallucinations in neural machine translation.
  • Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., ... & Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in Neural Information Processing Systems, 33, 9459-9474.
  • Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., ... & Stoyanov, V. (2019). Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692.
  • Maddison, C. J., Mnih, A., & Teh, Y. W. (2016). The concrete distribution: A continuous relaxation of discrete random variables. arXiv preprint arXiv:1611.00712.
  • Manakul, P., Liusie, A., & Gales, M. J. (2023). Selfcheckgpt: Zero-resource black-box hallucination detection for generative large language models. arXiv preprint arXiv:2303.08896.
  • Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On faithfulness and factuality in abstractive summarization. arXiv preprint arXiv:2005.00661.
  • Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. Advances in neural information processing systems, 26.
  • Miller, A., Fisch, A., Dodge, J., Karimi, A. H., Bordes, A., & Weston, J. (2016). Key-value memory networks for directly reading documents. arXiv preprint arXiv:1606.03126.
  • Monea, G., Bosselut, A., Brantley, K., & Artzi, Y. (2024). Llms are in-context reinforcement learners.
  • Mündler, N., He, J., Jenko, S., & Vechev, M. (2023). Self-contradictory hallucinations of large language models: Evaluation, detection and mitigation. arXiv preprint arXiv:2305.15852.
  • OpenAI (2023) "Gpt-4 technical report," URL: https://cdn.openai.com/papers/gpt-4.pdf.
  • Peters, U., Krauss, A., & Braganza, O. (2022). Generalization bias in science. Cognitive science, 46(9), e13188.
  • Qu, Y., Yang, M. Y., Setlur, A., Tunstall, L., Beeching, E. E., Salakhutdinov, R., & Kumar, A. (2025). Optimizing test-time compute via meta reinforcement fine-tuning. arXiv preprint arXiv:2503.07572.
  • Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018) Improving Language Understanding by Generative Pre-Training. OpenAI (URL: https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf)
  • Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI blog, 1(8), 9.
  • Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36, 53728-53741.
  • Ramachandran, P., Zoph, B., & Le, Q. V. (2017). Searching for activation functions. arXiv preprint arXiv:1710.05941.
  • Rezaei, M. R., Hafezi, M., Satpathy, A., Hodge, L., & Pourjafari, E. (2024). AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning. arXiv preprint arXiv:2410.12886.
  • Setlur, A., Rajaraman, N., Levine, S., & Kumar, A. (2025). Scaling test-time compute without verification or rl is suboptimal. arXiv preprint arXiv:2502.12118.
  • Shazeer, N. (2019). Fast transformer decoding: One write-head is all you need. arXiv preprint arXiv:1911.02150.
  • Shazeer, N. (2020). Glu variants improve transformer. arXiv preprint arXiv:2002.05202.
  • Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N., & Anderson, R. (2023). The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv preprint arxiv:2305.17493.
  • Shuster, K., Poff, S., Chen, M., Kiela, D., & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567.
  • Simon, Herbert Alexander. (1996) The sciences of the artificial, 3rd, MIT press.
  • Su, J., Ahmed, M., Lu, Y., Pan, S., Bo, W., & Liu, Y. (2024). Roformer: Enhanced transformer with rotary position embedding. Neurocomputing, 568, 127063.
  • Su, J., Lu, Y., Pan, S., Murtadha, A., Wen, B., & Liu, Y. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. arXiv preprint arXiv:2104.09864.
  • Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., ... & Lample, G. (2023). Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971.
  • Touvron, H., Martin, L., Stone, K., Albert, P., Almahairi, A., Babaei, Y., ... & Scialom, T. (2023). Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288.
  • Turing, Alan Mathison. (1936). On computable numbers, with an application to the Entscheidungsproblem. J. of Math, 58(345-363), 5.
  • Turing, Alan Mathison. (1950). Computing machinery and intelligence. Mind, 59(236), 433-460.
  • Varshney, N., Yao, W., Zhang, H., Chen, J., & Yu, D. (2023). A stitch in time saves nine: Detecting and mitigating hallucinations of llms by validating low-confidence generation. arXiv preprint arXiv:2307.03987.
  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., & Polosukhin, I. (2017). Attention is all you need. arXiv preprint arXiv:1706.03762.
  • Wang, A., & Cho, K. (2019). Bert has a mouth, and it must speak: Bert as a markov random field language model. arXiv preprint arXiv:1902.04094.
  • Wang, Z., Wan, Z., & Wan, X. (2020, April). Transmodality: An end2end fusion method with transformer for multimodal sentiment analysis. In Proceedings of The Web Conference 2020 (pp. 2514-2520).
  • Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., ... & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in neural information processing systems, 35, 24824-24837.
  • Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., & Le, Q. V. (2019). Xlnet: Generalized autoregressive pretraining for language understanding. Advances in neural information processing systems, 32.
  • Yao, J. Y., Ning, K. P., Liu, Z. H., Ning, M. N., Liu, Y. Y., & Yuan, L. (2023). Llm lies: Hallucinations are not bugs, but features as adversarial examples. arXiv preprint arXiv:2310.01469.
  • Yu, T., Liu, Z., & Fung, P. (2021). AdaptSum: Towards low-resource domain adaptation for abstractive summarization. arXiv preprint arXiv:2103.11332.
  • Zamani, H., & Bendersky, M. (2024). Stochastic RAG: End-to-End Retrieval-Augmented Generation through Expected Utility Maximization. arXiv preprint arXiv:2405.02816.
  • Zamani, H., Bendersky, M., Metzler, D., Zhuang, H., & Wang, X. (2022, August). Stochastic retrieval-conditioned reranking. In Proceedings of the 2022 ACM SIGIR International Conference on Theory of Information Retrieval (pp. 81-91).
  • Zhang, B., & Sennrich, R. (2019). Root mean square layer normalization. Advances in Neural Information Processing Systems, 32.
  • Zhao, L., Li, L., Zheng, X., & Zhang, J. (2021, May). A BERT based sentiment analysis and key entity detection approach for online financial texts. In 2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design (CSCWD) (pp. 1233-1238). IEEE.
  • Zimmermann, Manfred. (1978) "Neurophysiology of Sensory Systems," In Schmidt, Robert F., ed., Fundamentals of sensory physiology, New York : Springer-Verlag, pp31-80.