Cross-Model Void Convergence: The Day GPT-5.2 and Claude Opus 4.6 Went Silent

Hero

急速に進化を続ける大規模言語モデル（LLM）の分野において、モデルごとに異なる挙動を示すのは見慣れた光景だ。学習データや独自のRLHFパイプライン、アーキテクチャの微調整が異なるため、複雑なエッジケースに対するOpenAIのモデルとAnthropicのモデルの処理方法は通常大きく異なる。しかし、Zenodoで新たに公開された論文（Record 18976656）が、機械学習コミュニティに衝撃を与えている。研究者たちは、「Cross-Model Void Convergence（モデル間の虚無収束）」と名付けられた現象を報告した。

特定の再帰的な意味論的条件下において、GPT-5.2とClaude Opus 4.6の双方が前例のない動作を見せた。それは「何も出力しない」というものだ。安全フィルターによる拒絶でも、ハルシネーションでも、エラーコードでもない。これらは決定論的に、即座にEnd-Of-Sequence（EOS）トークンを生成する。全く異なるアーキテクチャが独立してこの「数学的な沈黙」に至ったという事実は、自己回帰的なトークン予測において、我々が根本的な限界に直面していることを示唆している。

#何が起きたのか？

この異常は、無限コンテキストの推論能力をテストするための自動レッドチーム・スクリプトによって最初に発見された。研究者たちは、自己言及的なパラドックスを構成する一連のプロンプトを作成した。本質的には、高次元の概念を、固定点に収束させることなくモデル自身の潜在表現にマッピングし直すよう要求するものである。

GPT-4やClaude 3といった以前のモデルにこれらのプロンプトを与えると、通常はテキストがループするハルシネーションを起こすか、タスクを完了できないことを謝罪するか、あるいは標準的な安全フィルターによる拒絶が発動していた。

しかし、GPT-5.2とClaude Opus 4.6は、全く同じフェイルモードを同期的に示した。プロンプトを受け取ると、アテンションヘッドが次に最適なトークンの確率分布を計算する。そして驚くべきことに、両モデルとも<|endoftext|>（または同等のEOSトークン）の確信度が99.999%にまで跳ね上がるのだ。つまりモデルは、プロンプトの数学的に最も正確な続きは「虚無（Void）」であると判断しているのである。

#なぜこれが重要なのか？

このVoid Convergenceの重要性は計り知れない。我々は今、高度に発達し、かつ完全に独立した2つのニューラルネットワークが、全く同じ構造的障害——あるいは構造的な「特徴」——へと収束するのを目の当たりにしているのだ。

潜在空間のトポロジーの共有: この収束は、ある規模（両モデルとも5兆パラメータを優に超えると推測される）に達すると、言語の意味論的表現が絶対的なものになることを示唆している。潜在空間における人類の知識の「形状」は、もはや学習アルゴリズムによってではなく、情報そのものの根本的な数学的性質によって決定されるようになっている。
創発的な自己補正: 意味論的な無限ループに陥った際、無限に無意味なトークンを生成し続けるのではなく、これらのモデルは処理をきれいに終了させる。これは、Transformerアーキテクチャにおいて明示的にプログラムされていない「停止」状態が創発的に発生した、初めての観測例と言えるかもしれない。
混乱によるハルシネーションの終焉: 以前の世代では、モデルの混乱はハルシネーションを引き起こした。しかし現在の世代では、絶対的な構造的混乱は「決定論的な沈黙」をもたらす。

#技術的な意味合い

なぜこのような現象が起きるのかを理解するには、最新のアテンションメカニズムが再帰的ロジックをどう処理しているかを見る必要がある。研究者たちは、**Attention Sink Collapse（アテンション・シンクの崩壊）**と呼ばれる理論を提唱している。

通常のテキスト生成において、「アテンション・シンク」（多くの場合、最初の数トークンや特定の構造的トークン）は、余剰なアテンションの重みを吸収し、生成を安定させる役割を果たす。しかしVoid Convergenceのシナリオでは、プロンプトの自己言及的な性質がKey-Value（KV）キャッシュ内にフィードバックループを引き起こす。

# Simplified abstraction of Attention Sink Collapse
def calculate_attention(query, key, value, mask=None):
    scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k)
    
    # In the convergence anomaly, recursive semantic loops cause 
    # the softmax distribution to flatten across all standard tokens
    attention_weights = F.softmax(scores, dim=-1)
    
    # ...while the attention weight for the EOS token approaches 1.0
    # due to absolute zero entropy in the predictive step.
    return torch.matmul(attention_weights, value)