Constitutional AIとRLHFは同時に使えますか、それとも一方が他方を置き換えますか？
代替関係ではなく、組み合わせて使います。Anthropicのアプローチは、Constitutional AIとRLHFを同じ訓練パイプラインに統合します：SL-CAI段階は教師あり学習、RLHF-CAI段階はAI生成の好みラベルを使った強化学習です。Constitutional AIを「RLHFの好みラベリングに原則的な根拠を与えるフレームワーク」と考えてください。完全に独立した代替ではありません。
実際にはAnthropicは依然として人間のフィードバックを補完として使用し、特に主観的判断が必要な文脈で使います。Constitutional AIの主な貢献は、プロセスをより原則的でスケーラブルにすることであり、人間の役割を完全に排除することではありません。
「憲法」の原則はどこから来ていますか？なぜAnthropicが決める権限を持つのですか？
これはAnthropicが公開文書の中で自ら認める正当な問いです。憲法原則の源泉には、国連人権宣言（広い国際的コンセンサスを持つとして選択）、Anthropic研究者自身のAI行動が人々に有益であるという判断、ユーザーと社会からのフィードバックから得た観点が含まれます。
なぜAnthropicが決めるのか？モデルを訓練している企業であり、現時点ではこれを行う能力を持つ認められた外部機関が存在しないからです。Anthropicの立場：憲法を公開して誰でも読め、批評し、その内容を議論できるようにすること自体が説明責任のメカニズムです。また、誰が憲法を書くかは開放された問いであり、将来のアライメント研究がより参加的で代表性のある方法を見つける可能性があることも認めています。
AIが原則を使って自らを批評することは信頼できますか？盲点はありませんか？
盲点はあります。Anthropic自身もこれを認めています。AIが原則を使って自らの回答を批評する際にいくつかの系統的な問題が生じる可能性があります：第一に、原則の表現が曖昧な場合、AIの原則解釈がすでに偏っており、批評もそれに従います。第二に、AIの訓練データが特定のバイアスを持ち、特定の種類の有害コンテンツに他より敏感または鈍感になる場合があります。第三に、AIは「知らないことを知らない」問題を批評することが苦手です——気づいていない盲点は批評できません。
これがAnthropicがConstitutional AIを人間によるレッドチーミングなど他の手法と組み合わせて使用する理由であり、すべてをAIの自己批評に任せるわけではありません。自己批評は有効なツールですが完全な解決策ではありません。
上級：Constitutional AIとAnthropicが言及するClaudeのキャラクター文書（soul document）はどう関係しますか？
両者は異なるレベルで機能しますが、相互に影響します。Constitutional AIは訓練手法論です——訓練プロセスがどのように機能し、どの原則がモデル行動を導くかを決定します。Claudeのキャラクター文書（Anthropic内部ではsoul documentまたはcharacter specと呼ばれる）は、AIアシスタントとしてのClaudeがどのような性格・価値観・コミュニケーションスタイルを持つべきかを記述します。
関係性：憲法の原則は訓練中にモデルが発達させる傾向に影響します；キャラクター文書はそれらの傾向が実際のやり取りでどう表現されるかをさらに形作ります。憲法を「モデルの骨格を形成する」ツール、キャラクター文書を「その骨格が日常生活でどう動くかの記述」と考えてください。両方合わせて、Claudeが同じ問いに特定の方法・特定のトーンで答える理由を説明します。
AnthropicはどうやってClaudeに「何を言うべきか、言うべきでないか」を学ばせているのでしょうか？答えはルールリストでも人手によるフィルタリングでもありません。Constitutional AI（憲法的AI）——AIが例のリストではなく原則を使って自らの行動を判断することを学ぶ訓練手法です。
この記事の目標は、この手法の核心ロジックを本当に理解することです。用語を知るだけでなく、他のアライメント手法との違いと、Claudeの行動への実際の影響を説明できるようになることを目指します。
まず前提として：AIに「良い行動」を学ばせることを「アライメント」と呼びます。Constitutional AIはAnthropicが2022年に発表したアライメント手法で、現在のClaudeの訓練の中核をなしています。
Constitutional AI登場以前、主流のAIアライメント手法はRLHF（人間フィードバックからの強化学習）でした。人間の評価者が2つの回答を比較して良い方を選び、その選択で好みモデルを訓練し、好みモデルでAIをより良い出力へ誘導するプロセスです。
問題はスケールです。大量の人手アノテーションが必要で、コストと時間がかかり、評価者間で判断が一致しません。より根本的には、評価者は感覚で投票しており、明確な原則を適用していません。これではAIが安定した説明可能な判断基準を学ぶことが困難です。
Anthropicの解決策：人間が採点する代わりに、AIに明文化された原則のセット——「憲法」——を与え、AIがその原則を使って自らの回答を評価・改善させます。
憲法は数十条の原則からなる文書で、無害性・誠実性・人への有益性を網羅します。国連人権宣言の精神、Anthropic自身の研究判断、ユーザーフィードバックから得た洞察が源泉です。重要なのは、これらの原則が読める、明示的で、問い直せるものであり、人手アノテーションのブラックボックスに埋もれていないことです。
第1段階はSL-CAI（教師あり）：Claudeが有害または問題のあるプロンプトに回答を生成し、憲法原則を使って自らの回答を批評し（「この回答はどこで誠実性の原則に違反しているか？」）、改善版を書き直します。「元の回答→改善回答」のペアで教師あり微調整を行います。
第2段階はRLHF-CAI（強化学習）：同じプロンプトに2つの回答を生成し、AIが憲法原則を使ってどちらが優れているかを判断します。このAI生成のランキングが好みモデルの訓練データとなり、強化学習に使われます。このループでAIは学生であり評価者でもありますが、評価の根拠は明確な原則です。
Constitutional AIの2つの重要な貢献：第一に説明可能性——憲法を読め、Claudeが判断に使う原則を理解でき、ブラックボックスではなく問い直し議論できる根拠があります。第二にスケール効率——大規模な人手アノテーションへの依存を減らし、訓練プロセスをより速く大規模に反復できます。
限界も現実です。憲法の内容はAnthropicが決定するため、「誰が憲法を書くか」それ自体が権力の問題です。原則の表現の仕方がAIの行動に影響します——曖昧な原則は曖昧な判断を生みます。また、AIが原則を使って自らを批評する際、系統的な盲点がある場合もあります。
Constitutional AIを理解する最も直接的な実用的効果：Claudeの拒否や制限はランダムではなく、憲法の原則に遡ることができます。リクエストを拒否された場合、たいていその背後に憲法原則があります。これはまた、リクエストをその原則の下でより合理的に見えるよう再フレーミングできれば、Claudeの回答が変わる可能性があることを意味します。このロジックを理解することで、Claudeとのやり取りが「当て推量」から「何と対話しているかを知っている状態」に変わります。