なぜモデルは自信満々に間違えるのか：幻覚は「知らない」ことではなく、メカニズム自体の副作用だ

Claudeをしばらく使うと、多くの人が特に困惑する状況に出会う。モデルが自信たっぷりに聞こえ、具体的な詳細を伴い、まったく躊躇のない口調で何かを語ったのに、それが間違っているという状況だ。この幻覚現象は、「モデルは答えを知らないのに無理に答えている」と直感的に理解されがちだが、この理解は半分しか正しくない。より正確に言えば、幻覚はモデルが意図的に分かったふりをしているのではなく、言語モデルの動作メカニズム自体からほぼ避けられない副作用として生じるものだ。この記事は幻覚の背後にある実際のメカニズムを扱うのであり、「AIは時々間違ったことを言う」という表面的な現象を繰り返すのではない。モデルの核心的なタスクは「次に来る最も妥当な単語は何か」であり、「これが事実かどうかを検証する」ことではない言語モデルの学習目標は、本質的に「前のテキストに基づいて、次に来る最も妥当な単語は何か」を予測す...