創発的能力(Emergent Capabilities)とは、LLMの特定の能力がモデルが特定のスケール閾値に達するまでほぼゼロであり、その後突然現れて急速に向上する現象です。最も典型的な事例:多段階算術推論、CoTの有効性、類比推論、コードのセマンティック理解。
湧現能力の発見はAI安全性研究に深遠な影響を与えます:AIの能力が非線形に創発する場合、AIの能力の監視と予測がはるかに難しくなります。AnthropicのRSP ASL分類システムの設計の一部の根拠:安全評価は能力の出現に反応してではなく、出現前に行われる必要があります。
創発的能力を理解することで、Claudeを使用する際にスマートなモデル選択ができます。Sonnetがタスクをうまく処理しない場合、Opusに切り替える前に「このタスクに必要な能力は、Sonnetのスケールではまだ完全に創発していない能力か?」と自問してみましょう。そうなら、Opusへのアップグレードは線形的な精度向上だけでなく、質的な能力変化をもたらすかもしれません。
創発的能力を深く理解するための推薦読書:(1)「Emergent Abilities of Large Language Models」(Wei et al., 2022, Google);(2)「Are Emergent Abilities of Large Language Models a Mirage?」(Schaeffer et al., 2023);(3)AnthropicのModel Cards。