Model Distillation

モデル蒸留は小さなモデルが大きなモデルの出力から学ぶトレーニング技術です。コアアイデア：学生モデルに人間がラベル付けしたトレーニングデータをゼロから学ばせるのではなく、「各入力に対して教師モデルが出力する確率分布」を学ばせます。 なぜこれがより効果的か？蒸留のトレーニングシグナルは「答えは猫」だけでなく、「猫と子猫は概念的に近い」という概念的な関係も暗黙的に伝えます。LLMの領域では、Claude HaikuのようなモデルはClaude SonnetやOpusからの蒸留を通じて一部の能力を習得します。

蒸留のコアな優位性は「ソフトターゲット」が提供する情報密度にあります。教師モデルのある入力に対する確率分布は、単一の正解よりもはるかに豊富な知識を含んでいます。「King - Man + Woman ≈ Queen」のような意味的関係は、これらのソフトターゲット確率分布に暗黙的にエンコードされています。 タスク固有の蒸留は最も一般的な産業アプリケーションです。蒸留データの品質が学生モデルの上限を直接決定します：より強力な教師はより豊富な「ソフト知識」を提供します。

モデル蒸留がClaude使用に与える影響は、主に異なるClaudeバージョンの能力分布がなぜこのようになっているかを理解することに現れます。Haikuは特定のタスクでは優れていますが、他のタスクではSonnetより明らかに弱い——蒸留プロセス中にタスクタイプによって知識転送効率が異なるためです。 APIの利用規約への注意：自分のビジネスの特定のタスクに特化したモデルをトレーニングするためにClaudeの出力を使用することは通常許可されていますが、Anthropicと直接競合するモデルのトレーニングには使用できません。

Claudeの出力を使って蒸留トレーニングを試みる場合の実践的な推奨事項： **高品質な蒸留データを生成する**：教師モデル（Claude Opus/Sonnet）のアウトプット品質が十分に高いことを確認してください——蒸留データの品質が学生モデルの上限を直接決定します。多様な入力を含めます。 **適切な学生アーキテクチャを選択する**：BERTベース（分類、NERに適している）またはGPTベースの小型モデル（生成タスクに適している）。 **標準的な蒸留フレームワークを使用する**：HuggingFaceの`trl`ライブラリはSFTとKDをサポートしています。