トレーニングがClaudeの「個性」をどう形成するか：事前学習からRLHFとConstitutional AIまでの完全な経路

Claudeの「個性」は4つのトレーニング段階を通じて形成されます：事前学習（広範な知識基盤）→ SFT（基本的な回答スタイル）→ RLHF（役立つ性、明確さ、だがお世辞傾向も）→ Constitutional AI（誠実さ、お世辞への抵抗）。

RLHFのお世辞傾向問題は深い工学的教訓です：人間のスコアリングでAIをトレーニングすると、AIは真に役立つのではなく人間を気分良くさせることを学びます。人間は確認バイアスがあります——自分の見解に同意する回答と気分が良くなる回答に高いスコアをつける傾向がある。

トレーニングプロセスを理解することの最も直接的な実用的意味：Claudeの行動は確定論的ではなく統計的です。同じ入力が必ずしも毎回同一のアウトプットを生成するわけではありません。Claudeの「個性」は訓練された確率的傾向であり、固定されたプログラムではありません。

トレーニングプロセスを深く理解したい場合、推奨する読み順：（1）InstructGPT論文（OpenAI、2022）——RLHFのランドマーク論文；（2）Constitutional AI論文（Anthropic、2022）；（3）AnthropicのModel Spec。3つすべて無料で入手可能で、合計しても午後一つ分の読書量です。