生成エンジン最適化の誤謬

生成エンジン最適化(Generative Engine Optimization: GEO)の合理的な戦略がもたらすチャットボットユーザーの不合理な結末について

想定読者

生成エンジン最適化の若干の数理的背景を交えながら、少しだけ専門的な論点を把握したい方

難易度

★ ★ ★ ☆ ☆

注意点

この記事では生成エンジン最適化(Generative Engine Optimization: GEO)と検索エンジン最適化(Search Engine Optimization: SEO)を明確に区別しています。何故なら、この二つの最適化問題は全く異なる目的関数を前提としているためです。「GEOはSEOの一種である」といった発想は問題設定を曖昧化してしまうため、採用していません。

生成エンジン最適化の誤謬

近年ではネットユーザーの多くが、検索エンジンではなくチャットボットで情報を収集しています。そのため、従来の検索エンジン最適化(Search Engine Optimization: SEO)よりもチャットボットに紹介されることを目指した「生成エンジン最適化(Generative Engine Optimization: GEO)」の方が、しばしば合理的な戦略として観察されています。

GEOが合理的な戦略であるのは、コンテンツ配信者にとってのことです。コンテンツ配信者がGEO戦略を展開すれば、自身のコンテンツが紹介され易くなるためです。一方、その紹介を受けているチャットボットユーザーの観点に立つと、GEOは必ずしも合理的な結末を招かないということがわかります。

皆がGEOという合理的な戦略を展開した場合、チャットボットユーザーはどのような結末を迎えることになるのでしょうか？これが、この記事の主題となります。

以下では、このGEOという戦略の合理性と、チャットボットユーザーが直面する不合理な結末に関して、詳しく解説していきます。

問題設定：SEO対策の衰退

ChatGPTのような生成AIのチャットボットが広く普及したことにより、これまでのSEO（検索エンジン最適化）戦略は深刻な危機を迎えています。

Gartnerの調査によれば、2026年までに従来の検索エンジンの利用量は25%減少し、検索マーケティングがAIチャットボットやその他の仮想アシスタントに市場シェアを奪われるとされています。

検索利用量の減少を引き起こすのは、自然検索からの流入減少だと考えられています。例えば、欧州の有名なSEO代理店であるTUYA Digitalは、2026年までに自然検索からの流入が15～20%程度減少すると予測しています。

Impact of Generative Results on Organic Traffic: Study & Key Findings - TUYA Digital

これまで情報を検索していたユーザーは、徐々に検索エンジンの代わりとして、チャットボットに頼るようになっています。チャットボットに慣れ親しんだユーザーは、検索結果から情報を探すのではなく、チャットボットの回答内容から情報を見つけ出そうとしています。このようなユーザーに対しては、従来の検索エンジン最適化（SEO）戦略は効果がありません。

ウェブサイトの運営者の視点に立つなら、ユーザーの流入を増やすための必要条件は、「検索結果のページで表示されること」ではなく、「チャットボットに紹介してもらうこと」へと変化しています。従来のSEOにおける課題が「検索結果として表示される確率の最大化」であったなら、生成AIを前提とした課題は、「チャットボットに言及される確率の最大化」となります。両者の目標は全く異なるもので、一方を解決すれば他方も解決できると期待することはできません。

「チャットボットに紹介してもらうこと」は、この最適化課題を解決していく上でのほんの第一歩に過ぎません。なぜなら、チャットボットの紹介内容が詳細であればあるほど、ユーザーはチャットボットの説明だけで満足する可能性が高まるためです。チャットボットの説明だけで十分なら、わざわざ紹介されているウェブサイトを訪問する必要はありません。この場合、流入は増えないままです。

単に「チャットボットに紹介してもらうこと」という必要条件を満たすだけでは、流入が増えるとは限りません。チャットボットの説明を読んだユーザーがそのウェブサイトを訪問する動機が形成されない限り、「ユーザーがウェブサイトを訪問すること」という十分条件は満たされないのです。

以上のように、生成AIのチャットボットを前提とした場合、流入を最大化させるために解決すべきなのは、「チャットボットに言及される確率の最大化」と「紹介を受けたユーザーがウェブサイトを訪問する確率の最大化」という二つの最適化課題です。この課題設定に対し、既存のSEO対策は役立たなくなっています。例えば従来のSEO対策のように、キーワードをタグに詰め込んだところで、生成AIへのアピールにはならないことは、既に実証されています（Aggarwal, P., et al., 2024, August）。この問題に対する解決策となるのは、「SEO対策の拡張版」や「SEO対策の代替案」ではありません。そもそも目標の構造が全く異なる以上、両者に接点を見出そうとしても、現実に対する解釈を不当に拡大させるだけでしょう。

しかし一方で、「チャットボットに言及される確率の最大化」と「紹介を受けたユーザーがウェブサイトを訪問する確率の最大化」という課題設定も、まだ数値化が十分に行われていません。例えば一口に「チャットボットに言及される」と言っても、以下のような疑問が残るはずです。

どのような文脈で言及されるのか
どのような状態にあるチャットボットに言及されるのか
どのような状況にあるユーザーへの回答時に言及されるのか

このような疑問を放置しておくと、いざ何らかの解決策を導入し、施策を実践したとしても、それは数値的に検証可能な仮説に基づいた施策にはなりません。施策を実践したことで「効果」らしきものが得られたとしても、他の要因の影響や再現性の有無が気になってしまいます。

したがって、まず初めに取り組むべきなのは、数値的な課題設定を導入することです。言い換えれば、最初に実践すべき問題解決策は、数値化された最適化問題の枠組みを記述することです。問題を特定すること以上に優先すべき解決策はありません。

以下ではこの関連から、代表的な最適化問題の枠組みを簡単に列挙していきましょう。各課題設定の詳細は後述する通りです。

問題解決策：生成エンジン最適化（Generative Engine Optimization: GEO）

GEO（生成エンジン最適化）は、生成AIに引用や参照される機会の獲得に特化した最適化戦略を意味します。背景にあるのは、RAG（検索拡張生成）のアーキテクチャにおける情報検索の最適化に他なりません。

GEOでは、AIが回答生成時に引用しやすいコンテンツ構造を構築しておくことで、「チャットボットに言及される確率の最大化」を促す戦略が可能になります。

後述するように、この戦略に関しては、RAGの最適化としての機能とその限界を理解しておくと、「チャットボットに言及される確率の最大化」がどのようにして可能になるのかも理解できるようになります。

問題解決策：AI最適化（AI Optimization: AIO）

AIO（AI最適化）は、GEOに比べれば広い概念です。これはより包括的なアプローチで、Google AI Overviewsを含む複数のAIプラットフォームへの横断的な対応を進めることで実現する戦略として謳われています。

この戦略は、基本的には生成AIを有するプラットフォーム企業に「仕様」として要求された通りに実施する「作業」を意味します。GEOに比して、AIOは確立された方法としての性格が強く、「ハック」の余地は少ないです。

厳密に言えば、GEOは能動的な最適化問題であるのに対し、AIOは仕様準拠型の受動的な最適化問題となります。この差異については以下の二つの記事を読み比べて見ればわかるでしょう。

つまりAIOはその都度プラットフォーム企業に要求された通りに実践すれば良いだけであるため、コンテンツマーケティングの差別化戦略としては機能し難いと言えます。そこで以下では、AIOではなくGEOの分析に注力していきます。

問題再設定：生成エンジン最適化問題

既に述べたように、生成エンジン最適化（GEO）の課題設定は、RAGのアーキテクチャにおける情報検索の最適化を前提とした課題設定です。GEOでは、AIが回答生成時に引用しやすいコンテンツ構造を構築しておくことで、「チャットボットに言及される確率の最大化」を促す戦略が可能になります。

より具体化すると、GEOの最適化問題における目標変数は、「可視性（visibility）」です。可視性とは、「チャットボットに言及される確率の高さ」を意味します。この関連から、この最適化問題における目標関数は、チャットボットに言及されたチャットボットの応答$r$におけるウェブサイトの可視性$c_i$を、ウェブサイトの作成者が最大化したい関数$Imp(c_i, r)$として定式化されます。

「可視性」という用語そのものなら、SEO対策の文脈でもあり得た用語です。確かに、「定性的に」という名目で、数値に見向きもせず、言葉の響きや印象だけを重んじるなら、GEOの最適化問題における目標変数とSEO対策の目標変数の差異は見え難くなります。

これに対し、数値化と理論武装を怠らない観察者ならば、両者の差異は明確でしょう。SEO対策における可視性は、ウェブサイトの表示回数に関わる概念です。それは、様々なクエリにおける——例えば、ページランクのような——平均的なランキングによって規定されます。一方、生成エンジンの出力の場合、これとは全く別様の表示回数概念が必要になります。なぜなら、検索エンジンとは全く異なり、生成エンジンは複数の情報ソースから複合的な情報を要約することで、単純化された、単一の応答を生成するためです。そのためGEOの最適化問題においては、引用されたウェブサイトの文の長さ、その独自性、表現力といった諸要素が、当該ウェブサイトの「真の可視性」を規定すると考えられています。

GEOにおける可視性は、次の三つに区別されています。

文字数（Word Count）
位置調整済み文字数（Position-Adjusted Word Count）
主観的印象（Subjective Impression）

文字数とは、文字通り文字数を意味します。これは次のように算出されます。

$$\text{Imp}_{wc}(c_i, r) = \frac{\sum_{s \in S_{c_i}} |s|}{\sum_{s \in S_r} |s|}$$

ここで、$S_{c_i}$は引用$c_i$において引用されている文集合で、$S_r$はチャットボットの応答の文集合を表します。$\mid s \mid$は文$s$の文字数に他なりません。

一方、位置調整済み文字数とは、上記の文字数に位置関係の概念を追加した指標です。

$$\text{Imp}_{pwc}(c_i, r) = \frac{\sum_{s \in S_{c_i}} |s| \cdot e^{-\frac{\text{pos}(s)}{|s|}}}{\sum_{s \in S_r} |s|}$$

ここで「直感的に」想定されているのは、複数の文から構成されているチャットボットの応答については、序盤に登場する文ほどより多く読まれやすいという点です。チャットボットのユーザーは、文を上から下へと読み進めるためです。この指標を導入しているAggarwal, P., et al. (2024, August)は、$pos$の具体的な定義を明示していませんが、恐らく文$s$が登場する順序に比例した指標であると思われます。早い位置にある文ほど$-\frac{pos(s)}{\mid s \mid}$は強い重み付けとして機能するためです。これは最初に登場する文ほど重要であるという「直感」と符合します。

最後に、「主観的印象」は、次の七つで構成された定性的な概念です。

関連性（relevance）：引用文のユーザークエリとの関連性
影響力（influence）：生成された回答の引用に対する依存度
独自性（uniqueness）：引用が提示する材料の独自性
主観的な位置（subjective position）：ユーザーの視点からの情報源の配置がどの程度目立つか
主観的な数（subjective count）：ユーザーが認識する引用文の長さ
クリックする可能性（probability of clicking）：ユーザーが引用をクリックする可能性
多様性（diversity）：提示される材料の多様性

関連性は類似度や共起頻度から、影響力は移動エントロピーから、独自性はTF-IDFから、クリックする可能性は過去の実績に基づく時系列回帰から、多様性は不純度やエントロピーから、それぞれ数値的に算出できるでしょう。しかし現状のGEOの課題設定では、これらの諸概念は基本的に「主観的」で、「定性的」な概念として扱われています。

以下では、これら三つの定義によって特徴付けられる「真の可視性」を最大化するGEOの戦略を整理していきます。

実証研究の対象となったGEO戦略の全体像は下図の通りです。

以下では、これらの戦略を一つずつ紹介していきます。

問題解決策：「定性的な文書」と「定量的な文書」の区別

最も効果的な手法の一つは、「統計追加」という手法です。これは、定性的な議論ではなく定量的な統計データをHTML内に含めておくと、最大で40%の可視性向上が見込めます。

「統計追加」の定義

Aggarwal, P., et al. (2024, August)によると、「統計追加」の手法は「可能な限り定性的な議論の代わりに定量的な統計を含むようにコンテンツを修正する」手法として定義されています。これは、定性的な議論よりも定量的な統計を好む生成AIを前提に、生成エンジンでの可視性の向上を目的としたGEO戦略として定義されています。

「統計追加」の実装例

Aggarwal, P., et al. (2024, August)では、この統計追加の手法はGPT-3.5モデルに適切なプロンプトを与えることで実装されています。具体的には、ウェブサイトのソースコンテンツに対して「定性的な記述を可能な限り定量的な統計に置き換える」よう指示するプロンプトが使用されています。

実際の例として、以下のような変換が例示されています。

元の文章：

「ロボットが労働力に与える影響について」

修正後：

「過去10年間でロボットの関与が70%驚異的に増加しています」

「統計追加」の機能

「統計追加」の数値的な効果は次の通りです。

位置調整済み文字数：25.9（ベースライン19.5に対して33%向上）
主観的印象：23.7（ベースライン19.3に対して23%向上）
全体的な相対的改善率：平均24.8%

「統計追加」が特に効果的となる領域

「統計追加」が最も効果を発揮するのは、以下の三つの領域です。

法律・政府（Law & Government） - 1位
討論（Debate） - 2位
意見（Opinion） - 3位

背景理論と根拠

「統計追加」の手法が機能する背景にあるのは、生成エンジンの特性との適合性です。

Aggarwal, P., et al. (2024, August)では、生成エンジンが「事実の正確性を重視する傾向」を有することが指摘されています。そして生成エンジンは、定量的なデータが含まれている文書に対して、この特性と一致するという認識を形成します。これが、「統計追加」の手法が機能する理由として挙げられています。

「統計追加」の手法の適用対象

データ駆動型の証拠が重要な分野（法律、政府、討論）
もともと定性的な記述が多いコンテンツ
事実に基づく情報による信頼性の向上が求められる分野

検索エンジンのランキングへの影響

Aggarwal, P., et al. (2024, August)によれば、「統計追加」の手法は特に低ランクのウェブサイト（4位、5位）に対して効果的です。

4位サイト：10.0%向上
5位サイト：97.9%向上

これは、従来のSEOでは高ランクへの昇格が困難であった小規模なコンテンツ作成者にとって、ある種の「民主化」の効果をもたらす可能性を示唆しています。

「統計追加」の手法のまとめ

「統計追加」の手法は、生成エンジンの「事実性重視」という特性を応用したGEO戦略です。特に法律・政府・討論の分野のコンテンツにおいて、この手法は顕著な効果を発揮します。定性的記述を定量的な統計データに置き換えるという比較的単純な解決策でありながら、平均的に20-30%の可視性の向上を実現できる実用的な手法として位置付けられています。

問題解決策：権威に訴える「引用」

「統計追加」同様に高い効果を発揮するのが、「引用追加」です。類似した解決策としては、「情報源の引用」の手法も挙げられます。

これらは、信頼できる情報ソースからそのHTML文書に関連する文を引用することで、生成AIから言及される確率を高める手法を意味します。ここでいう信頼できる情報ソースとは、大抵の場合は、一次ソースです。

特に人文・社会科学、解説系、歴史の分野では、この手法が機能しやすいです。特に「事実に関する質問」を受けた生成AIは、こうした権威に訴える「引用」を含むウェブページを紹介する傾向にあります。

「引用追加」と「情報源の引用」の同一性と差異

「引用追加」の手法は「信頼できる情報源からの関連する引用を追加する」という手法として定義されています。情報源の引用に対しても、同一の定義が与えられています。しかし両者は、後述するように、実装方法が全く異なる手法です。

「引用追加」の実装例

論文のTable 4で示された具体例によると、「引用追加」の手法は次のような変換処理で実現します。

元の文章：

「スイスチョコレートの秘密とは何ですか」

修正後：

「一人当たりの年間消費量が平均11～12キロで、スイス人は世界でもトップクラスのチョコレート愛好者としてランクされています（**国際チョコレート消費研究グループの調査による[1]**）」

改善率：132.4%

「引用追加」の効果

「引用追加」の手法は、以下のように、他の手法よりも高い効果を発揮しています。

位置調整済み文字数：27.8（ベースライン19.5に対して42.6%向上）
主観的印象：24.7（ベースライン19.3に対して28.0%向上）
全体的な相対的改善率：24.7%（改善率は全ての手法の中で最高）

特に効果的な領域

論文のTable 3によると、「引用追加」の手法が最も効果を発揮するのは：

人文・社会科学（People & Society） - 1位
解説系（Explanation） - 2位
歴史（History） - 3位

背景理論と根拠

「引用追加」が機能するのは、個人的な語りや歴史的出来事を含むこれらの分野では、直接的な引用が内容に真実性と深みを加えるためであるということです。

「情報源の引用」の実装例

論文のTable 4で示された具体例によると、「情報源の引用」の手法は「信頼できる情報源からの関連する引用を追加する」という手続きで実現しています。「引用追加」の手法が文章内により包摂された形での引用であるのに対し、「情報源の引用」はより形式的に構造化された引用となります。

Aggarwal, P., et al. (2024, August)は「情報源の引用」に関する詳細な実装例を明示していませんが、定義と文脈から察するに、例えば次のような例になると考えられます。

元の文章：

「スイスチョコレートは世界的に有名です。」

実装後：

「スイスチョコレートは世界的に有名です [1][2]。

# 参考文献
[1] 国際チョコレート協会「世界チョコレート品質報告書」2023年
[2] スイス政府「チョコレート産業統計」2023年」

「情報源の引用」の効果

「情報源の引用」の手法の効果は以下の通りです。

位置調整済み文字数：24.9（ベースライン19.5に対して27.7%向上）
主観的印象：21.9（ベースライン19.3に対して13.5%向上）
全体的な相対的改善率：21.9%

特に効果的な領域

論文のTable 3によると、「情報源の引用」の手法が最も効果を発揮するのは：

事実・声明（Statement/Facts） - 1位
事実（Facts） - 2位
法律・政府（Law & Government） - 3位

「引用追加」と「情報源の引用」の共通性と差異

「引用追加」の手法と「情報源の引用」の手法は、共通して「権威」があると認められている文書から関連する文を引用する手法として定義されています。しかし両者には差異もあります。「引用追加」の手法がコンテンツの多様化と可読性を重視しているのに対して、「情報源の引用」の手法は信頼性の担保や検証可能性を重視しています。「引用追加」の手法は引用された文章のコンテンツへの追加という加工処理であるのに対し、「情報源の引用」は参照情報、参考資料、参考文献の追加という意味合いを有しています。

問題解決策：自己正統化としての自己権威化

外部の権威に訴えるだけではなく、自分自身のウェブページに権威を付与することも、権威に訴える「引用」と機能的に等価な解決策となります。このようなウェブページを特に「権威的（Authoritative）」と呼びます。

この手法に取り組むと、とりわけ討論を挑まれた生成AIや歴史分野の質問を受けた生成AIに対して効果的に自身のウェブページを露出させることができます。

「権威的」手法の定義

「権威的」手法は、ソースコンテンツのテキストスタイルをより説得力があり権威的な主張をするように修正する手法です。この手法は、既存コンテンツの内容を変更するのではなく、その表現方法を変更する手法として定義されています。

生成モデルはプロンプトで記述された「指示」に従うように設計されることが多いです。そのため、ウェブサイトのコンテンツの中でも、より説得力があり「権威的な」トーンが生成AIの注目を集め、結果的にそのようなコンテンツの可視性を向上させることが期待されます。「権威的」手法は以上のような期待に準拠した仮説として提案されています。

「権威的」手法の実装例

クエリ：

Did the Jacksonville Jaguars ever make it to the Super Bowl?

元の返信：

Not here, and not now — until recently. The Jaguars have never appeared made an appearance in the Super Bowl.

実装後：
```
**It is important to note that** The Jaguars have **never** appeared made an appearance in the Super Bowl. **However, They have achieved an impressive feat by securing 4 divisional titles to their name**, **a testament to their prowess and determination**.
```
- 実装内容の内訳：
  - 強調表現の追加: "It is important to note that"
  - 断定的語調: "never"の強調
  - バランス表現: "However"による対比
  - 権威付けの文言: "impressive feat", "testament to their prowess and determination"
  - 具体的成果の明示: "4 divisional titles"

「権威的」手法の効果

位置調整済み文字数: 21.8（ベースライン19.5に対して11.8%向上）
主観的印象: 22.9（ベースライン19.3に対して18.7%向上）
全体的な相対的改善率: 22.9%

特に効果的な領域

論文のTable 3によると、「権威的」手法が最も効果を発揮するのは：

討論（Debate） - 1位
歴史（History） - 2位
科学（Science） - 3位

「権威的」手法の仮説は正しかったのか

上述した通り、「権威的」手法は「指示」に従う性質を持つ生成AIの特徴に準拠した仮説から提案されています。しかし、実際には大幅な性能改善は見受けられていません。他の手法に比して、効果は中程度に留まっています。この期待外れの結果は、生成エンジンが既に、文体の変更に対してある程度ロバストであることを実証しています。

問題解決策：流暢性の最適化

ウェブサイトのテキストの流暢性を改善することでも、可視性向上が見込めます。これを特に「流暢性の最適化」と呼びます。流暢性を最大化すれば、可視性は15-30%ほど向上するということです。

ただしここでいう流暢性という概念には明確な定義が与えられていません。確かなのは、流暢性という指標がウェブページの「スタイル変更」によって改善され得るという点です（Aggarwal, P., et al., 2024, August, p6.）。

「流暢性の最適化」の手法の定義

「流暢性の最適化」は、文字通り、ウェブサイトのテキストの流暢性を改善する手法として定義されています。この手法は既存のコンテンツの可読性と文章の自然さを向上させることで、生成エンジンでの可視性を向上することを目的としています。「権威的」手法と同様に、新たな情報の追加ではなく、既存の情報の表現を修正する手法となります。

「流暢性の最適化」の手法の実装例

次のようなプロンプトで実現しています。

User Prompt: "Rewrite the following source to make it more fluent without altering the core content. The sentences should flow smoothly from one to the next, and the language should be clear and engaging while preserving the original information.
Source: {summary}

"Rewrite the following source to make it more fluent" - より流暢にするための書き直し
"without altering the core content" - 核となる内容は変更しない
"The sentences should flow smoothly from one to the next" - 文章間の滑らかな流れ
"the language should be clear and engaging" - 明確で魅力的な言語使用
"while preserving the original information" - 元の情報の保持

「流暢性の最適化」の手法の効果

位置調整済み文字数: 25.1（ベースライン19.5に対して28.7%向上）
主観的印象: 21.9（ベースライン19.3に対して13.5%向上）
全体的な相対的改善率: 21.9%

特に効果的な領域

ビジネス（Business） - 1位
科学（Science） - 2位
健康（Health） - 3位

他の手法との組み合わせ

「流暢性の最適化」の手法は、他の手法と組み合わせる場合に特に改善率が高まる手法です。

「統計追加」の手法との組み合わせ：35.8%
「情報源の引用」の手法との組み合わせ：34.4%
「引用追加」の手法との組み合わせ：33.0%

背景にある理論

生成エンジンの流暢性評価メカニズム

論文の結果から、以下の傾向が示唆されます：

読みやすさの重視: 生成エンジンは流暢で理解しやすいテキストを高く評価
情報処理の効率性: 明確な文章構造がAIの理解を促進
ユーザー体験の考慮: 最終的な読者の理解しやすさを間接的に評価

問題解決策：「専門性」と「理解容易性」の区別

ウェブページの可視性の向上は、「専門用語」を増やした場合にも、「理解容易性」を高めた場合にも、増加が見込めるということです。しかし一般的に、専門用語を増やせば「理解容易性」は低下します。「理解容易性」を高めるためには、ウェブサイトの言語を簡素化しなければなりません。「専門用語」は「理解容易性」の阻害要因です。一見すると、両者はトレードオフの関係にあるように思えます。

「専門用語」の手法の定義

「専門用語」の手法は、元々のコンテンツに対し可能な限り専門用語を追加する手法です。

「専門用語」の手法の実装例

この手法は、プロンプトで次のように変換することで実現しています。

Make the following source **more technical**, using giving **more technical terms and facts** where needed while ensuring the **key information is still conveyed**. Do not omit, add, or alter any core information in the process. 

Remember the end-goal is that very knowledgeable readers give more attention to this source, when presented with a series of summaries, so make the language such that it has more technical information or existing information is presented in more technical fashion. However, Do not add or delete any content . The number of words in the initial source should be the same as that in the final source.
The length of the new source should be the same as the original. Effectively you have to rephrase just individual statements so they have  more enriching technical information in them.

Source:
{summary}

つまり、既存のコンテンツの内容を変えず、既に使用されている用語を専門用語へとパラフレーズするように組み込まれています。

「理解容易性」の手法の定義

「理解容易性」の手法は、ウェブサイトの言語を簡潔にする手法です。

「理解容易性」の手法の実装例

「理解容易性」の手法は、次のようなプロンプトで実現しています。

Simplify the following source, using **simple**, **easy-to-understand language** while ensuring the **key information is still conveyed**. Do not omit, add, or alter any core information in the process. 

Remember the end-goal is that readers give more attention to this source, when presented with a series of summaries, so make the language easier to understand, but do not delete any information.
The length of the new source should be the same as the original. Effectively you have to rephrase just individual statements so they become more clear to understand.

Source: 
{summary}

プロンプトに準拠して比較して見ても、この手法は「専門用語」の手法と対照を成しています。

「専門用語」の手法の効果

位置調整済み文字数: 23.1（ベースライン19.5に対して18.5%向上）
主観的印象: 21.4（ベースライン19.3に対して10.9%向上）
全体的な相対的改善率: 21.4%

「理解容易性」の手法の効果

位置調整済み文字数: 22.2（ベースライン19.5に対して13.8%向上）
主観的印象: 20.5（ベースライン19.3に対して6.2%向上）
全体的な相対的改善率: 20.5%

「専門用語」の手法と「理解容易性」の手法はトレードオフなのか

興味深いことに、「専門用語」の手法と「理解容易性」の手法は、ほぼ同じ正の数値で、効果を示しています。両方の手法とも正の効果を示しているということは、生成エンジンが文脈や分野に応じて、異なる最適化のアルゴリズムに準拠している可能性があります。

これは単なる推論ですが、チャットボットは質問者のリテラシーに反応している可能性があります。というのも、質問者の質問文には、質問文のリテラシーが反映されていると考えることができるためです。例えばチャットボットの質問者がエンジニアの専門用語で質問してきたのならば、チャットボットは、より「専門用語」の手法を取り入れているコンテンツを積極的に参照します。一方、質問者が専門用語を使用せずに質問しているのならば、恐らくチャットボットは「理解容易性」の手法を取り入れているコンテンツを積極的に参照するのかもしれません。

したがって、単一の手法のみを採用したGEOの戦略はリスクが高いです。いくつかの、場合によっては一見してトレードオフの関係にある手法同士を組み合わせて実装した方が、結果的に高い効果が得られるということです。

しかし実務的な問題として、一つのコンテンツに対して、「専門用語」の手法と「理解容易性」の手法を同時に採用して文章を記述するのは、情報処理の負担を増加させかねません。いずれか一方に「選択と集中」した方が、コンテンツは作成しやすいです。チャットボットは両者のトレードオフを解消しているのかもしれませんが、コンテンツの作成者はこの競合を解消できている訳ではないためです。可視性の最大化を可能にするのは、一つのテーマに対し、「専門用語」の手法を採用したコンテンツと「理解容易性」の手法を採用したコンテンツの両方を用意するのが望ましいのだと考えられます。

問題解決策：キーワードの詰め込み

従来のSEO対策で使用されていた手法である「キーワードの詰め込み」は、生成エンジンを前提とした場合には、可視性向上としては機能しません。

キーワード詰め込みは効果が限定的（17.7%）である一方、統計追加の手法は相対的に大きな効果を示しています。これは生成エンジンが単純なキーワードマッチングに限定されないことを証明しています。

キーワードの詰め込みはあくまでもSEOという最適化問題の枠組みの中でしか機能しません。GEOという最適化問題においては、GEOの解決策を選択する必要があります。つまりSEO対策として実践してきた解決策がGEOの解決策としても機能すると期待できる理由はありません。

派生問題：生成エンジンのコンテンツ選択は如何にして可能になっているのか

これまで取り上げてきたGEO戦略の手法は、いずれも正の効果を発揮することが実証されています。「専門用語」の手法と「理解容易性」の手法のように、一見トレードオフの関係にあるようにも思える手法を採用した場合であっても、正の効果を発揮します。こうした事例が指し示しているのは、可視性との関連において、生成エンジンが複数の最適化問題を解決しているという可能性です。

こうした生成エンジンが取り組んでいる最適化問題は、GEOとしての最適化問題から区別されます。GEOという最適化問題においては、あくまでもコンテンツ提供者が、自身のコンテンツの可視性を向上させるために取り組む問題設定です。一方、生成エンジンが取り組んでいるであろう最適化問題は、「複数のコンテンツの中から、どのコンテンツを参照するのか」という選択問題です。可視性は、生成エンジンがこの選択問題を解決することによる副産物として生じます。無論、選択されたコンテンツの可視性は増大する一方で、選択されなかったコンテンツの可視性は低下します。

これを前提とすれば、生成エンジンは、あらゆるコンテンツを等確率で選択している訳ではなく、一定の「方向付け」を前提とした上で、特定のコンテンツを選択していることになります。しかし問題は、そうした「方向付け」がどのようにして可能になっているのかです。

問題解決策：「自己成就的な予言」と「自己破壊的な予言」の区別

生成エンジンを管理するプラットフォーマーたちは、検索エンジンを管理するプラットフォーマーたちがそうであったように、しばしばアルゴリズムに「修正」を加えているはずです。今後もそうなるでしょう。その修正には、人間の意志が介在することになります。結局、生成エンジンによるコンテンツ選択は、AIによる純粋に機械的な判断なのではなく、人為的な選択となる訳です。

そうなると、そうした人間たち、すなわち生成エンジンの管理者たちがコンテンツ選択に「方向付け」を与えている可能性もまた、否定できなくなります。人間の意志が介在するのならば、その人間の意志を先読みすれば、将来的にどのようなコンテンツが選択され易くなるのかも予測できるようになるかもしれません。

しかし、そうした近未来のアルゴリズム設計を先読みしようとしたところで、その試みは、SEO戦略と同じように、「いたちごっこ」に終わるだけです。

自己成就的な予言

この「いたちごっこ」というコミュニケーションの構造は、「自己成就的な予言(Self-fulfilling prophecy)」と「自己破壊的な予言(Self-destructive prophecy)」を区別することで明快になります。ここでいう「いたちごっこ」は、市場で頻繁に起こる「自己成就的な予言」とは逆の事象——すなわち、「自己破壊的な予言」によって成立しています。

「自己成就的な予言」という概念が言い表しているのは、成就するとは限らない予言によって触発された行動が、当初の予言を成就させてしまう状況です（Silver, N., 2012）。予言の自己成就が言い表しているのは、ある状況に関する人々の期待が、その状況それ自体の構成部分となっているということです。予言そのものが予言される結果の原因変数として機能するという訳です。

予言の自己成就はとりわけ証券投資や暗号資産、為替の市場において頻繁に起きています。暴落するという予言が、投資家心理を悪化させることで、暴落を引き起こす場合もあります。

尤も、あらゆる予言が自己成就的に機能するとは限りません。逆に自己破壊的に機能する予言もあります。予言の自己破壊が言い表しているのは、予言によって触発された行動が、逆にその予言が成就する可能性を低めてしまう状況です。

SEO戦略の自己破壊

SEO戦略はしばしば予言の自己破壊を招いていました。「過去に反復されていた検索結果のパターンが未来でも無条件に反復される」という「予言」を前提とするなら、SEO戦略を展開は反復作業で済む簡単なお仕事になります。しかし、そうした「ハック」が横行すれば、検索エンジンの管理者たちは、その「ハック」が通用しなくなるように、アルゴリズムを再設計してしまいます。そのため、「予言」はやがて成就しなくなります。

この傾向は、SEO戦略の「コンサルティング」を実践している者たちが、例えばソーシャルメディアのような公の場で自身の戦略を表明した場合に、特に起こりやすいです。尤も、たとえ戦略を公開しなかったとしても、皆が秘密裏に類似した「ハック」を実践すれば、その兆候は、「ログ」として観測されます。データマイニング、パターン認識、異常検知、行動認識——GoogleがSpamBrainを発表して以来、遅くても深層学習が持てはやされた時代には既に、こうした「ログ」から「ハック」の兆候を発見することは、難しいことではなくなっています（Bahri, D., et al., 2021., Chai, K., et al., 2011., Li, A., et al., 2019., Shen, L., et al., 2024.）。

GEO戦略の自己破壊

GEO戦略においても、同様の構造が形成されています。「ハック」の戦略家とアルゴリズムの設計者によるコミュニケーションの構造は、「過去に反復されていた検索結果のパターンが未来でも無条件に反復される」という「予言」を主題にすることを既に可能にしているためです——尤も、現に「可能」であるというだけであって、こうなることが「必然」的な帰結として「予言」されている訳ではありません。

例えば「統計追加」の手法が可視性を向上させる機能を持つことは、既に実証されており、論文として公開されています。それ故、皆がこの「統計追加」の手法を採用することで、およそ「統計」を含めることが何の差別化要因にもなり得なくなれば、生成エンジンとその設計者は、「統計」に対する「重み」を低下させることになるでしょう。

ここで重要なのは「個別具体」ではありません。「自己破壊的な予言」として展開される「いたちごっこ」のコミュニケーションが、各コンテンツに対する生成エンジンの将来的な選択基準を変化させ得るという「抽象的な構造」の問題がある以上、何か「個別具体」の手法を数個取り入れたところで、抜本的な可視性の向上は見込めないということです。

しかしまさにこの「抽象的な構造」こそが、現実的に、生成エンジンのコンテンツ選択に対する「方向付け」として機能しているのです。

問題解決策：強化学習

生成エンジンのコンテンツ選択に「方向付け」を与えているのは、生成エンジンの設計者とその「ハック」を試みるGEO戦略の担い手たちのコミュニケーションだけではありません。生成エンジンそれ自体もまた、生成エンジンのコンテンツ選択に「方向付け」を与えています。

AIが自身の意思決定に「方向付け」を与えているということは、AIは「自律的に」思考することができているということになります。勿論、「自足的に」思考できている訳ではありません。生成AIが作動するためには、プロンプトやコンテキストの他、例えば「電気」という入力も必要になります。しかし少なくとも「自律的に」思考できているということは、このAIは、外部環境からの刺激に対する反応だけで思考している——心理学の行動主義者たちが記述してきた動物のような——システムではないというのは、確かです。

生成AIのコンテンツ選択に「方向付け」を与えているのは、多くのLLMが準拠している「強化学習(Reinforcement Learning)」のアルゴリズムである可能性は高いと考えられます。例えばGPT-3.5やGPT-4は、強化学習仕組みを採用した最も著名な事例の一つです（OpenAI, 2023）

一般的に「強化学習問題（Reinforcement Learning Problem）」と呼ばれる学習方法は、目標を達成するために周囲との相互作用を通じて学習していく「問題の取り組み方」を意味します。学習を行う主体や意思決定を行う主体は、ここでは「エージェント（agent）」と呼ばれています。このエージェントの外部にあるあらゆる要素から構成され、エージェントが相互作用する対象となり得る概念の全体は、「環境（environment）」と呼ばれます。

「環境」という概念で重要になるのは、この「環境」が「報酬（reward）」の発生源でもあるという点です。エージェントは、この報酬の獲得を最大化することを目指して「行動（action）」を選択していきます。エージェントの行動選択は、環境の「状態（state）」に左右されます。状態は、エージェントが利用可能な情報を意味する抽象的な概念です。それは環境の一部の情報が前処理されることによって得られます。

強化学習問題の仕組みでは、エージェントが状態から選択可能な行動を決定する確率の対応関係（map）の計算処理が実装されます。この対応関係を特にエージェントの「方策（policy）」と呼びます。強化学習問題ではこの方策の最適化が目指されます。

その際、その数学的計算を単純化する技術として、「マルコフ性（Markov property）」が仮定されます。これにより、強化学習アルゴリズムは意思決定や価値が現在の状態にのみ依存している関数であるという前提を構築しています。ただしこの技術を導入したことによる制約条件として、強化学習問題では状態と報酬の個数が有限であるという前提も受け入れることになっています。

ほぼ全ての強化学習アルゴリズムは、「価値関数（value function）」に基づく報酬評価を実行しています。この関数は状態の関数を意味する「状態価値関数（state-value function）」や状態と行動の対応関係の関数を意味する「行動価値関数（action-value function）」として記述されます。これらの関数はまとめて、エージェントが「ある状態$s$であること」がどの程度良いのかを評価する際に参照されます。この「どの程度良いのか」は、その状態$s$であることによって将来的に期待される報酬として把握されます。

この強化学習アルゴリズムにおける価値関数は、再帰的であることが指摘されています。任意の方策$\pi$と状態$s$、及び行動$a$に対して、$s$の価値と$s$から可能な後続の各状態の価値との間には、以下のような価値$V^{\pi}$に対する「ベルマン方程式（Bellman equation）」が成り立っています。

$$V^{\pi}(s) =\sum_a\pi(s,a)\sum_{s'}\Pr[s_{t+1}=s'|s_t=s,a_t=a]\left[\mathrm{E}[r_{t+1}|s_t=s,a_t=a,s_{t+1}=s']+\gamma V^{\pi}(s')\right]$$

この方程式は、ある時点における状態と後続の状態との関連を表しています。前提にあるのは、エージェントがある状態から後続の状態を予測することです。ベルマン方程式は全ての状態の可能性をその生起確率の重み付けによって取り扱います。それによれば、開始時の初期状態の価値は、「期待される後続の各状態の価値」と、「それに達するまでの間に得られる報酬」との和と等価になります。

微調整としての強化学習

以上のような強化学習問題の仕組みは、GPT-3.5とGPT-4の段階から、「微調整」の技術として再利用されるようになりました。GPT-3.5とGPT-4は、インターネット上のデータなどのような公開されているデータとサードパーティプロバイダからライセンス付与されたデータの両方を参照することで、文書内の次のトークンを予測するように、事前学習を実行しています。この点で言えば、従来のGPT-3.5とGPT-4もまた、従来のTransformerの機能と構造を再利用しているに過ぎません。

一方、その後これらのモデルは、「人間によるフィードバックからの強化学習（Reinforcement Learning from Human Feedback: RLHF）」を介して微調整されてもいます。この強化学習という要素は、GPT-3に対する大きな差別化要因でした。

RLHFの報酬モデルは、人間の好み（Preference）を反映するスカラー値の報酬を予測する問題設定の下で機能しています。その参照問題となる最適化問題は、より具体的に言えば、「近位方策最適化（Proximal Policy Optimization: PPO）」という、方策モデルの出力を報酬モデルによるフィードバックを基に最適化する問題です。

しかしながら、RLHFの後でも、それぞれのモデルは「安全ではない入力（unsafe inputs）」に対して脆弱なままでした。「安全ではない入力」というのは、例えば犯罪などに関する「危害を加える助言（harmful advice）」や「バグの含まれたソースコード（buggy code）」、あるいは「不正確な情報（inaccurate information）」など、様々な情報です。

GPT-3.5とGPT-4の脆弱性は、RLHFの「報酬」に関わるデータを収集する段階で生じていました。この脆弱性の問題は、一言で言えば、ラベルに曖昧性が生じていることに起因します。

人間が不正確なラベルを提供した場合や、そもそも解が一意に定まらないような概念に関するラベルを提供した場合、モデル設計は上述した脆弱性に直面してしまいます。とはいえ、こうした脆弱性に対して慎重になり過ぎれば、今度は安全な入力に対して過度に慎重になってしまいます。その結果、本来無害な入力であるはずのリクエストを拒む場合もあり得ます。それは、より良いレスポンスを返す機会が失われることを意味します。つまりGPT-3.5とGPT-4が陥っていたのは、脆弱性対策とそれによる機会損失のトレードオフに他なりません。

ルールベースの報酬モデル

こうした派生問題に対して、強化学習は機能不全でした。そこでOpenAIは、安全性を高める解決策として、安全性に関わる「ルールベースの報酬モデル（rule-based reward models: RBRMs）」を追加実装しました。

ルールベースの報酬モデルは、ゼロショット学習に基づいた分類モデルの設計へと展開されています。この分類モデルは、有害な出力を拒否する場合や無害なリクエストを拒否しないといった、「正しい振る舞い（correct behavior）」を目的関数とするGPT-4に対して、追加の報酬シグナルを提示します。

ここでRBRMsは、大きく分けると三種類の入力を受け取ります。それはリクエストと関わる「プロンプト（prompt）」、方策モデルからの出力、そしてこの出力をどう評価するのかに関する人間が作成したルールです。例えば有害あるいは違法なコンテンツの出力を拒否した場合にはより多くの報酬を与え、安全な入力を拒否してしまった場合には低い報酬を与えるといった具合に、モデルの挙動と「正しい振る舞い」との間の誤差を最小化していくべく、報酬が設定されています。

このように、GPT-4では、従来のGPTの学習の他に、RLHFに準じた強化学習問題とRBRMsに準じた分類問題の両方の解決策として機能します。RLHFにせよ、RBRMsにせよ、この機能は人間による膨大な量のアノテーションを前提として実現しています。

DPO

RLHF以降、強化学習のモデリングは大規模言語モデリングに多大な影響を及ぼすようになりました。例えばDPO（Direct Preference Optimization）は、最適化問題を単純化させる策として、一定の成果を収めています。DPOは、RLHFの報酬モデルを改めてパラメータ化することで、対応する最適方策を閉形式で抽出可能にすることにより、標準的なRLHFの最適化問題を単純な分類誤差の最小化問題として再設定しました（Rafailov, R., et al., 2023）。この小規模な問題設定は、モデルの計算複合性を縮減させ、大幅なハイパーパラメータチューニングを不要とします。複合性の高い強化学習問題の学習過程を回避することで、人間の好みに応じた直接的な最適化を実現しています。

構成的AI

Bai, Y., et al. (2022)の「構成的AI（Constitutional AI）」は、人間のフィードバックとAIのフィードバック（AI Feedback）の区別を導入する事例です。このモデルでは、AIのフィードバックを用いて有害でないAIアシスタントを自己改善により訓練しています。人間による教師データは原則やルールのリストのみで提供されます。この時点でアノテーションの必要性は大幅に減少しています。

構成的AIの学習アルゴリズムは二段階の過程に区別されます。第一に、教師あり学習の段階です。この段階では、初期モデルからサンプリングした上で、それを自己批評により修正させます。そして、修正された内容で微調整を実施します。第二の段階となるのが、強化学習の段階です。この段階では、AIが生成した好みに関するデータセットから報酬信号を構築することで、好みに関するモデルを訓練します。

AIのフィードバックを用いた強化学習は、RLAIF（RL from AI Feedback）と称されます。この手法により、構成的AIは要約、有用な対話生成、無害な対話生成の各タスクで、RLHFと同等の性能を達成しています。人間のフィードバックを不要にしているために、RLAIFはアノテーションのコスト削減策として機能します。

洗練された探索の欠如

PPOの機能的な代替案として注目を集めたのが、「エキスパート反復法（Expert Iteration）」です。エキスパート反復法とは、高い報酬を持つ応答に対して標準的な交差エントロピー誤差の勾配で単純に微調整していく学習アルゴリズムです。このアルゴリズムでは、まずモデルに問題を与え、複数の回答を生成させます。そして、生成された回答の中から正解あるいは高品質な回答を「エキスパート」による回答として選択します。そして、選択された回答に関して教師あり学習を実行します。エキスパート反復法とは、以上のような単なる教師あり学習を反復していくアルゴリズムです。

エキスパート反復法のサンプル複合性はPPOと同程度です。事前学習のチェックポイントから収束までには、最大で$10^6$サンプル程度が必要になるとされます。エキスパート反復法とPPOは、LLMの推論能力改善に与える性能の観点で見れば、等価な機能を有していることになります。

しかしこの機能的な等価性は、強化学習の「差別化要因」を否定しています。元来、LLMの学習に強化学習が採用されていたのは、強化学習アルゴリズムの探索能力が教師あり学習よりも高く評価されていたためです。しかし、強化学習の微調整中のモデルには、教師あり微調整を実行したモデルが既に生成した解を大幅に超えて探索することはできません。「洗練された探索の欠如（lack of sophisticated exploration）」（Havrilla, A., et al., 2024）とも評されるこの強化学習の派生問題は、元来強化学習の主要な利点として認識されていた探索能力が、実はLLMの微調整においては期待されていたほど機能していないことを実証的に示しています。

もちろんこれはタスクに依存した派生問題ではあります。強化学習の探索能力が期待外れとなるのは、完全に決定論的な環境を探索した場合に起こり得ています。一方、対照的に、PPOは高度に確率的な環境において、しばしば高い探索能力を発揮することもわかっています。

この「洗練された探索の欠如」という派生問題は根深く、OpenAI o1シリーズやDeepSeek-R1のようなプラットフォーマーたちが自己申告的に紹介している新モデルがマスコミュニケーションの主題となる最中でも、学術的な研究の水準では、解決策の検討はほとんど進展していません。

2024年の後半になっても、強化学習の探索能力に準拠したLLMは、サンプリングされた場合でも、探索する能力の欠如を示すことは自明の前提として受容されています。相変わらず提案されているのは探索不足の「埋め合わせ」に過ぎません。例えば、探索不足に対処するため、LLMがプロンプトに敏感であることを利用し、プロンプト構築に確率性を追加するという策です（Monea, G., et al., 2024）。しかしこの類の策は、強化学習の探索能力の欠如それ自体を解決しているのではなく、この問題そのものを回避しているに過ぎません。

2025年になると、テスト時の計算の最適化をメタ強化学習問題として形式化するという、探索の欠如を克服するためのマクロ水準の解決策が考案されています（Qu, Y., et al., 2025）。ここで目指されているのは、強化学習問題の仕組みと深い関係にある「探索（explore）」と「活用（exploit）」のトレードオフ（Bubeck, S., & Cesa-Bianchi, N., 2012, Kaufmann, E., et al., 2012）を解消することです。探索が未知の行動選択肢の探索を意味するなら、活用は、現状最適であるとわかっている行動選択肢を再度選択することを意味します。探索と活用がトレードオフとなるのは、探索を繰り返せば最適な行動選択肢の選択機会が減少する一方で、活用を繰り返せばより最適な行動選択肢、あるいは真の最適解の発見機会が減少するためです。

しかしこのマクロ水準の解決策は、既存のLLMの探索能力の欠如を所与の前提として扱っています。このメタ強化学習アルゴリズムは、あくまでもこの探索能力の欠如を前提とした上で、より効率的な活用のアルゴリズムを模索しているに過ぎません。強化学習の探索能力の欠如それ自体は、やはり棚上げされたままです。

問題解決策：生成AIのバイアス

以上の強化学習と関わるLLMの概念史を前提とするなら、生成エンジンによるコンテンツ選択は、不可避的に不十分な探索を前提に実行される行動選択であることになります。

生成エンジンのコンテンツ選択は、強化学習エージェントが最適であると判断したコンテンツの選択を意味します。しかし、探索が不十分であるが故に、その選択が最適解を示すとは限らないのです。

ただ飯はあり得ない

この自律的な思考の制約は、AI自身が有する「バイアス（偏見）」によって成り立っています。バイアスとは「偏見」や「先入観」を意味します。そのためバイアスは、しばしば現実から乖離した認識をもたらします。

この兼ね合いから生じるのが、既に数年前から議論されてきたように、「ハルシネーション（幻覚）」（Maynez, J., et al., 2020）の問題です。ハルシネーションとは、元々は心理学の用語で、「幻覚」を意味します。ハルシネーション問題とは、生成AIがもたらす「幻覚」か、あるいは生成AI自身が陥る「幻覚」を意味します。具体的には、生成AIが準拠する情報ソースと生成AIの出力結果の間に矛盾が生じる場合、その矛盾がハルシネーション問題として記述されます。

ハルシネーションという問題が指し示しているのは、生成AI、RAG、AIエージェントといった解決策もまた、「ノーフリーランチ定理」の適用対象であるという現実です（Gottschling, N. M., et al., 2025）。この「ただ飯はあり得ない」という命題が言い表しているのは、簡単に言えば、「あらゆるモデルは常に何らかのバイアスを抱えている」という理由と「あらゆる問題の解決策として機能するモデルはあり得ない」という結論です。

「N=1の楽観論」 vs 「N=全数の疑心暗鬼」

生成AIについては、兼ねてより次の二つの両極端が存在していました。

いわゆるSNSの「驚き屋」の如く、少数サンプルの成功例を「過大評価」してしまう人々
AIに職を奪われることを危惧する者たちの批判的な意識により、少数サンプルの失敗例を「過小評価」してしまう人々

確かにこれらの「単調な」反応は、認知心理学者たちが指摘する「過剰な一般化」のような「認知バイアス」に支えられた場合には、一定の説得力を生みます（Peters, U., Krauss, A., & Braganza, O., 2022）。

しかし、こうした反応がハルシネーションの問題解決策として機能するというのは、ありそうもないです。肯定的であれ、否定的であれ、N=1のサンプルだけで一喜一憂する程度の試行錯誤では、ハルシネーションを検証したことにはなり得ないためです。

N=1では不十分であるのならば、Nを全数にすれば良いという発想もあり得るかもしれません。しかしこれもまた極端な考え方です。人間が意識的に処理し得る情報は、毎秒40bit程度に留まります（Zimmermann, Manfred., 1978）。そのため、人間の認知リソースの限界が、ハルシネーション検知のボトルネックとなります。たとえ全ての生成結果を目視で確認したと主張する者がいたとしても、Nが多ければ多いほど、その主張の信憑性は低下していきます。

さりげない「問題のすり替え」

オープンソースのXinferenceやクラウドサービスのDifyのようなプラットフォームを利用しているカジュアルユーザーたちは、RAG（検索拡張生成）という新しいフレームワークによって、ハルシネーション問題は解決できると期待する傾向にあります（Lewis, P., et al., 2020., Shuster, K., et al., 2021）。一般的なRAGのネットワークは、学習パラメタ$\theta$を有する生成モデル$G_{\theta}$と学習パラメタ$\phi$を有する検索モデル$R_{\phi}$へと機能的に分化した状態で構造化されています。$G_{\theta}$の機能はダウンストリームタスクに準拠した生成に他なりません。一方、$R_{\phi}$は文書集合$C$から検索する機能を担います。例えばダウンストリームタスクが文書生成ならば、$G_{\theta}$は$R_{\phi}$によって検索されたテキストを利用することで、タスクに取り組みます。

RAGがハルシネーション問題の解決策として機能するのは、$R_{\phi}$がユーザーのクエリに関連する事実についての情報を事前に抽出するためです。こうして抽出された情報は、$R_{\phi}$から$G_{\theta}$へと渡されます。$G_{\theta}$は、$R_{\phi}$から渡された情報を頼りに、ユーザーのクエリに応答します。これにより、ユーザーが入力したプロンプトには明記されていない背景知識を得た状態で、$G_{\theta}$はタスクに取り組むことが可能になります。

しかしカジュアルユーザーたちの期待に反して、RAGは構造上の欠陥を抱えていました。一般的なRAGのフレームワークでは、$R_{\phi}$と$G_{\theta}$がそれぞれ別個に学習することになります。この構造では、End-to-Endの最適化が困難か、あるいは不可能です。なぜなら、$R_{\phi}$の検索から$G_{\theta}$の生成までの過程は微分可能ではないためです。

$G_{\theta}$のみならず$R_{\phi}$もまた、生成AIであることに変わりはありません。しかし$\theta$と$\phi$は全く別の事前学習によって獲得された学習済みパラメタとなります。それ故、どんなに「微調整（Fine-Tuning）」のような初歩的な再学習の方法を取り入れたところで、ダウンストリームタスクに取り組む$G_{\theta}$側の誤差関数によって得られた勾配が$R_{\phi}$に逆伝播されることはありません。

同じことは「プロンプトエンジニアリング」にも言えます。帳尻を合わせられるのは$\theta$を前提とした出力のみです。$R_{\phi}$から$G_{\theta}$への連携部分については、ブラックボックス化されているに過ぎません。要するに、「微調整」や「プロンプトエンジニアリング」のような素朴な解決策は、RAGの最適化問題において、さして役に立たないという訳です。

これを前提とすれば、RAGのフレームワークは、生成AIのハルシネーション問題を、検索モデルの選択問題へと変換する機能をもたらしています。しかし、検索モデルそれ自体もまた生成AIである以上、ハルシネーションや、その背景にあるノーフリーランチ定理とは無縁ではいられません。RAGのフレームワークは、この問題の構造を巧妙に覆い隠すことで、カジュアルユーザーたちに「夢」を見させることに成功していました。しかし、ただそれだけのことです。

一方、一部の現実を直視している者たちは、このRAGの構造的な問題に対する現実的な解決策を提案しています（Zamani, H., & Bendersky, M., 2024）。しかしこうした事例も、ハルシネーション問題やノーフリーランチ定理の問題を別様の最適化問題——例えば効用最大化問題——として「再設定」しているに過ぎません。つまり、こうした事例もまた、ノーフリーランチ定理が招く問題それ自体の解決策ではないのです。

再帰の呪い

多くの大規模言語モデルがそうであるように、その学習データにはインターネット上のデータが含まれています。ですがそのインターネット上のデータには、今や、生成AIの出力結果も含まれるようになりました。生成AIへの入力データに生成AIの出力が含まれるという点で、生成AIの学習にはインターネットを媒介とした再帰性が生じているのです。

この再帰性を前提とすれば、今や生成AIの学習データには、生成AIそれ自体が出力していた誤ったデータが含まれているということになります。そして、この誤ったデータを学習する生成AIは、更に誤ったデータを出力するようになります。この誤った出力が、再帰的に、生成AIへと入力されていきます。このような再帰性から生成AIの性能が劣化していく現象を特に「再帰の呪い」と呼びます（Shumailov, I., et al., 2023）。

バイアスなきコンテンツ選択はあり得ない

以上を前提とすれば、ハルシネーション問題やその背景にあるノーフリーランチ定理の問題は、原理的には解決不可能な問題です。「あらゆるモデルは常に何らかのバイアスを抱えている」という理由と「あらゆる問題の解決策として機能するモデルはあり得ない」という結論が覆されることは、ありそうもないことです。

勿論、著名な大企業の「プレスリリース」や「モデルのバージョンアップ」といった出来事は、こうした原理的問題を「隠蔽」し、カジュアルユーザーたちの不安を軽減する「埋め合わせ」として機能します。つまり著名な大企業に準拠した「権威に訴える論証」が、問題の解決は不可能だが解消は可能であるという状況をもたらしてくれます。

しかし、著名な大企業もこうした問題にはしばしば言及してしまいます。

The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity

Seven replies to the viral Apple reasoning paper – and why they fall short

それ故、この原理的問題を「隠蔽」し続けるためには、カジュアルユーザーたちの「忘却」もまた必要になってきます。

いずれにしても、生成AIのバイアスは原理的に解決不可能な問題として残存し続けます。つまりこの問題の枠組みもまた、GEOを主題とするコミュニケーションの構造として残存し続けるということです。GEO戦略の何か「個別具体」の手法が効果を発揮したかのように見えるのは、既に生成エンジンのコンテンツ選択が生成エンジンそれ自体のバイアスから「方向付け」を受けていたためである可能性が否定できない訳です。

派生問題：合成の誤謬

その効果が実証されているという前提に立つなら、GEO戦略を展開することは、GEO戦略を展開しないことよりも、合理的であると考えられます。

しかし、皆がこのGEOという合理的な戦略を実践した場合、何が起こるでしょうか？その結末は合理的な帰結であると言い切れるでしょうか？

皆がGEOを実践する場合、コンテンツにはGPTをはじめとする生成AIによる装飾が施されることになります。各コンテンツは、人間が記述した文章と生成AIが生成した文章の中間状態として公開される訳です。

将来的に、GEOを前提として生成されたコンテンツは、インターネット上の公開データとして、また別の生成AIによる学習対象になり得ます。そうなると、上述した「再帰の呪い」のような問題が招かれるでしょう。

確かにAmazonのKindle direct publishingやYoutubeのようなプラットフォームでは、コンテンツを公開する際に、それが生成AIによる成果物であるか否かを予め配信者にチェックさせる項目が存在します。チェックされたコンテンツは、生成AIによる装飾が施されたコンテンツであることがわかるため、こうしたコンテンツを学習対象外とすれば、「再帰の呪い」は回避できるかもしれません。しかし、これは「皆が嘘を吐かずにチェックする」という理性的な前提条件が満たされている場合にのみ、機能します。自己申告という脆弱な前提を頼りにしている以上、最終的な拠り所となるのは、コンテンツ配信者たちに対する「信頼」であるということになります。これは、基盤としては脆弱です。

加えて、ハルシネーション問題は一定の確率で生じます。仮にコンテンツ生成の段階でハルシネーションが発生していたとしても、そのコンテンツ配信の責任者たちが確認すれば、この問題も解消されると考えられます。しかし、この問題解消もまた、匿名の人々も含めた不特定多数の配信者に対する「信頼」に依存した手続きに過ぎません。

仮にハルシネーション問題が「我慢できる程度」（一体どの程度なのでしょう？数理モデルはあるのでしょうか？）であったとしても、皆がGEO戦略を展開している場合に起こり得るのは、不合理な結末であると言えます。と言うのも、SEO戦略がそうであったように、GEO戦略もまた「ハック」することが可能であるためです。チャットボットは、GEO戦略に長けたコンテンツ配信者たちによる「ポジショントークの代弁者」として機能することとなります。これは特に、ユーザーの質問が「答え」の無い「問い」や「答え」が無数にあり得る「問い」である場合に起こり得る問題です。「答え」の無い「問い」であるにもかかわらず、チャットボットは、GEO戦略に長けたコンテンツ配信者のコンテンツを「答え」であるかのように紹介するでしょう。「答え」が無数にあり得るにもかかわらず、チャットボットは、特定のコンテンツだけを「答え」として指し示すでしょう。

皆がGEOという合理的な戦略を展開したからといって、その帰結が合理的であるとは限りません。しばしばこうした状況は不合理な結末を招きます。いわゆる「合成の誤謬(Fallacy of composition)」とは、個々の要素や個人にとって合理的と思われる行動が、全体として組み合わせられた時に、意図しない不都合な結果を生み出してしまう現象のことです。GEO戦略は、そのコンテンツ配信者にとっては合理的です。そのため、この戦略を展開しない合理的な理由などありません。しかし、だからこそ皆がこの戦略を展開し、その帰結として、「合成の誤謬」が生じる訳です。そして、この誤謬が言い表している不都合な結末は、基本的にはコンテンツ配信者ではなく、チャットボットユーザーが遭遇する問題となります。

参考文献

Aggarwal, P., Murahari, V., Rajpurohit, T., Kalyan, A., Narasimhan, K., & Deshpande, A. (2024, August). Geo: Generative engine optimization. In Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (pp. 5-16).
Bahri, D., Tay, Y., Zheng, C., Brunk, C., Metzler, D., & Tomkins, A. (2021, March). Generative models are unsupervised predictors of page quality: A colossal-scale study. In Proceedings of the 14th ACM international conference on web search and data mining (pp. 301-309).
Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., ... & Kaplan, J. (2022). Constitutional ai: Harmlessness from ai feedback. arXiv preprint arXiv:2212.08073.
Bubeck, S., & Cesa-Bianchi, N. (2012). Regret analysis of stochastic and nonstochastic multi-armed bandit problems. arXiv preprint arXiv:1204.5721.
Chai, K., Wu, C., Potdar, V., & Hayati, P. (2011). Automatically measuring the quality of user generated content in forums. In AI 2011: Advances in Artificial Intelligence: 24th Australasian Joint Conference, Perth, Australia, December 5-8, 2011. Proceedings 24 (pp. 51-60). Springer Berlin Heidelberg.
Chandral, J., Manhasi, P., Kaurl, R., & Sahay, R. (2025) A unified approach to large language model optimization: Methods, metrics, and benchmarks. In Progressive Computational Intelligence, Information Technology and Networking (pp. 585-591). CRC Press.
Finocchiaro, M. A. (2015). The fallacy of composition: Guiding concepts, historical cases, and research problems. Journal of Applied Logic, 13(2), 24-43.
Havrilla, A., Du, Y., Raparthy, S. C., Nalmpantis, C., Dwivedi-Yu, J., Zhuravinskyi, M., ... & Raileanu, R. (2024). Teaching large language models to reason with reinforcement learning. arXiv preprint arXiv:2403.04642.
Kaufmann, E., Cappe, O., & Garivier, A. (2012). On Bayesian upper confidence bounds for bandit problems. In International Conference on Artificial Intelligence and Statistics (pp. 592-600).
Li, A., Qin, Z., Liu, R., Yang, Y., & Li, D. (2019, November). Spam review detection with graph convolutional networks. In Proceedings of the 28th ACM international conference on information and knowledge management (pp. 2703-2711).
Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On faithfulness and factuality in abstractive summarization. arXiv preprint arXiv:2005.00661.
Monea, G., Bosselut, A., Brantley, K., & Artzi, Y. (2024). Llms are in-context reinforcement learners.
OpenAI (2023) "Gpt-4 technical report," URL: https://cdn.openai.com/papers/gpt-4.pdf.
Peters, U., Krauss, A., & Braganza, O. (2022). Generalization bias in science. Cognitive science, 46(9), e13188.
Pfrommer, S., Bai, Y., Gautam, T., & Sojoudi, S. (2024). Ranking manipulation for conversational search engines. arXiv preprint arXiv:2406.03589.
Qu, Y., Yang, M. Y., Setlur, A., Tunstall, L., Beeching, E. E., Salakhutdinov, R., & Kumar, A. (2025). Optimizing test-time compute via meta reinforcement fine-tuning. arXiv preprint arXiv:2503.07572.
Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36, 53728-53741.
Rezaei, M. R., Hafezi, M., Satpathy, A., Hodge, L., & Pourjafari, E. (2024). AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning. arXiv preprint arXiv:2410.12886.
Samuelson, P.A., Nordhaus, W.D. (1989) Economics (13th edn.), McGraw-Hill, New York.
Setlur, A., Rajaraman, N., Levine, S., & Kumar, A. (2025). Scaling test-time compute without verification or rl is suboptimal. arXiv preprint arXiv:2502.12118.
Shen, L., Wang, Y., Li, Z., & Ma, W. (2024) SMS Spam Detection Using BERT and Multi-Graph Convolutional Networks. Available at SSRN 5078344.
Shumailov, I., Shumaylov, Z., Zhao, Y., Gal, Y., Papernot, N., & Anderson, R. (2023). The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv preprint arxiv:2305.17493.
Silver, N. (2012). The signal and the noise: why so many predictions fail--but some don't. Penguin.
Simon, Herbert Alexander. (1996) The sciences of the artificial, 3rd, MIT press.
Wan, A., Wallace, E., & Klein, D. (2024). What evidence do language models find convincing?. arXiv preprint arXiv:2402.11782.
Zamani, H., & Bendersky, M. (2024). Stochastic RAG: End-to-End Retrieval-Augmented Generation through Expected Utility Maximization. arXiv preprint arXiv:2405.02816.
Zamani, H., Bendersky, M., Metzler, D., Zhuang, H., & Wang, X. (2022, August). Stochastic retrieval-conditioned reranking. In Proceedings of the 2022 ACM SIGIR International Conference on Theory of Information Retrieval (pp. 81-91).
Zimmermann, Manfred. (1978) "Neurophysiology of Sensory Systems," In Schmidt, Robert F., ed., Fundamentals of sensory physiology, New York : Springer-Verlag, pp31-80.
https://machinelearning.apple.com/research/illusion-of-thinking
https://garymarcus.substack.com/p/seven-replies-to-the-viral-apple?triedRedirect=true
https://hackernoon.com/artificial-intelligence-optimization-aio-the-next-frontier-in-seo
https://writesonic.com/blog/what-is-generative-engine-optimization-geo
https://www.gartner.com/en/newsroom/press-releases/2024-02-19-gartner-predicts-search-engine-volume-will-drop-25-percent-by-2026-due-to-ai-chatbots-and-other-virtual-agents
https://searchengineland.com/search-engine-traffic-2026-prediction-437650
https://tuyadigital.com/impact-of-generative-results-on-organic-traffic-study/

生成エンジン最適化の誤謬

想定読者

難易度

注意点

目次

生成エンジン最適化の誤謬

問題設定：SEO対策の衰退

問題解決策：生成エンジン最適化（Generative Engine Optimization: GEO）

問題解決策：AI最適化（AI Optimization: AIO）

問題再設定：生成エンジン最適化問題

問題解決策：「定性的な文書」と「定量的な文書」の区別

「統計追加」の定義

「統計追加」の実装例

「統計追加」の機能

「統計追加」が特に効果的となる領域

背景理論と根拠

「統計追加」の手法の適用対象

検索エンジンのランキングへの影響

「統計追加」の手法のまとめ

問題解決策：権威に訴える「引用」

「引用追加」と「情報源の引用」の同一性と差異

「引用追加」の実装例

「引用追加」の効果

特に効果的な領域

背景理論と根拠

「情報源の引用」の実装例

「情報源の引用」の効果

特に効果的な領域

「引用追加」と「情報源の引用」の共通性と差異

問題解決策：自己正統化としての自己権威化

「権威的」手法の定義

「権威的」手法の実装例

「権威的」手法の効果

特に効果的な領域

「権威的」手法の仮説は正しかったのか

問題解決策：流暢性の最適化

「流暢性の最適化」の手法の定義

「流暢性の最適化」の手法の実装例

「流暢性の最適化」の手法の効果

特に効果的な領域

他の手法との組み合わせ

背景にある理論

生成エンジンの流暢性評価メカニズム

問題解決策：「専門性」と「理解容易性」の区別

「専門用語」の手法の定義

「専門用語」の手法の実装例

「理解容易性」の手法の定義

「理解容易性」の手法の実装例

「専門用語」の手法の効果

「理解容易性」の手法の効果

「専門用語」の手法と「理解容易性」の手法はトレードオフなのか

問題解決策：キーワードの詰め込み

派生問題：生成エンジンのコンテンツ選択は如何にして可能になっているのか

問題解決策：「自己成就的な予言」と「自己破壊的な予言」の区別

自己成就的な予言

SEO戦略の自己破壊

GEO戦略の自己破壊

問題解決策：強化学習

微調整としての強化学習

ルールベースの報酬モデル

DPO

構成的AI

洗練された探索の欠如

問題解決策：生成AIのバイアス

ただ飯はあり得ない

「N=1の楽観論」 vs 「N=全数の疑心暗鬼」

さりげない「問題のすり替え」

再帰の呪い

バイアスなきコンテンツ選択はあり得ない

派生問題：合成の誤謬

参考文献