Constitutional AI

Constitutional AI（憲法的AI）はAnthropicが2022年に提案したAIアラインメントトレーニング方法です。コアアイデア：人間のアノテーターにどの回答が良いかを判断させる（RLHFのアプローチ）のではなく、モデルに明示的に書かれた行動原則のセット（「憲法」）を与え、それらの原則に従って自己評価と修正をさせます。 この「憲法」は明示的な原則リストで、例えば：「大規模な危害を引き起こす可能性のあることを人間が行うのを助けてはならない」「誠実であり、ユーザーを欺いてはならない」「人間の自律性を尊重し、特定の見方を押しつけてはならない」など。

Constitutional AIはRLHFの根本的な問題を解決するために登場しました：人間のアノテーターにはバイアスがあります。RLHFトレーニングでは、人間のアノテーターがモデルの回答を評価して、どちらが良いかを決定します。しかし人間の判断は多くの要因に影響されます：より自信があるように聞こえる回答（たとえ不正確でも）を好む場合があります。Constitutional AIはこれを解決しようとします：「アラインメントターゲット」を暗黙の人間の好みから、明示的に書かれた原則リストに変換します。

Constitutional AIを理解することで、Claudeのいくつかの行動特性の起源を理解する助けになります： なぜClaudeは「この情報が正確かどうかわかりません」と言うことがあるのか？これは憲法原則「誠実さ」の具体的な体現です。 なぜClaudeは強い推薦や意見を求められたとき、「他の視点も考慮する価値があります」と付け加えることがあるのか？これは「人間の自律性の尊重」という憲法原則を反映しています。 なぜClaudeはリクエストを断る際に論理的な理由を示せるのか？原則のセットを学習しており、それに基づいて説明できるからです。

Constitutional AIは研究コンセプトであり、直接「使用」できる機能ではありません。しかし理解することでClaudeとのインタラクションをより効果的にできます： 正直なフィードバックを望む場合、明示的に「同意する必要はありません——誠実さと役立つことの原則に基づいて問題点を教えてください」と言う。 Claudeがリクエストを断った場合、「このリクエストはどの原則に抵触しますか？」と尋ねることで通常より意味のある説明が得られます。 Constitutional AIについてさらに学ぶ：Anthropicは2022年に完全な研究論文（「Constitutional AI: Harmlessness from AI Feedback」）を発表しており、Anthropicの研究ページで見つけられます。