Claudeはどうやって「人間に役立つ」ことを学ぶのか？RLHFとConstitutional AIの完全解説

Claudeのトレーニングには2つの主要な段階があります：事前学習（言語パターンを学ぶ）とアラインメントトレーニング（「人間に役立つ」ことを学ぶ）。アラインメントトレーニングの主な方法はRLHF（人間のフィードバック好みでモデルを誘導）とConstitutional AI（明示的な行動原則のセットに基づく自己評価）です。

RLHFはOpenAIによって2017年から2020年代初頭にかけて体系化され、InstructGPTのトレーニングで大規模に適用されました。AnthropicのConstitutional AIはRLHFの革新であり、人間の好みアノテーションへのRLHFの依存という問題を解決します——アノテーターのバイアスと不一致がトレーニング済みモデルの行動に直接影響します。

RLHFとConstitutional AIを理解することは、Claudeと他のAIツールの行動の違いを説明するのに役立ちます。純粋にRLHFでトレーニングされたシステムは「お世辞傾向」（sycophancy）が生じやすいです——真実の回答より、ユーザーが聞きたいことを言う傾向があります。Constitutional AIの追加により、ClaudeはユーザーがClaude答えを好まない場合でも誠実を保つようにトレーニングされています。

RLHFとConstitutional AIの理解を実際の使用テクニックに変換する：お世辞ではなく正直なフィードバックが必要な場合、Claudeに明示的に伝える「同意する必要はありません——問題がどこにあるかを教えてください」；Claudeがリクエストを断った場合、「なぜ？」と尋ねると通常、定型文ではなく意味のある説明が得られます；Claudeの回答が正確かどうか不確かな場合、「この回答にどれくらい自信がありますか？」と直接尋ねます。