Token

トークンは言語モデルがテキストを処理する最小単位であり、文字でも単語でも文でもありません。英語のトークン化：一般的な単語は1トークン（catは1トークン）、珍しい単語は分割されます（tokenizationは4トークン）。中国語の文字は通常1〜2トークンです。トークナイザーは歴史的に英語に最適化されていたため、CJK言語のトークン効率は低くなっています。 トークンを理解する最も実践的な理由はコストです：Anthropic APIの課金単位はトークンであり、文字数でもメッセージ数でもありません。1,000文字の中国語記事は約1,500〜2,000トークン、同じ情報の英語は約1,300トークンです。中国語は英語より20〜50%コストがかかります。

言語モデルの底層はベクトル（エンベディング）を操作しており、入力単位はトークンです。文字を単位として使うと、語彙テーブルが爆発的に増大します。トークン化はエンジニアリング上のトレードオフ：十分に一般的なサブワード単位を使うことで、語彙テーブルを適切なサイズ（通常50,000〜100,000トークン）に保てます。英語はトレーニングデータが最も多いため、CJK言語はトークン効率が低く、これが直接APIコストに影響します。

トークン数は3つの重要な判断に影響します： コスト見積もり：APIアプリケーションを構築する前に、プロンプトのトークン数とClaudeの予想される返答のトークン数を見積もります。中国語テキストの場合、文字数×1.5〜2がトークン数に近い近似値です。 Context Window配分：System Promptのすべてのトークンは毎回のAPIコールで再課金されます。System Promptを簡潔にすることが最も直接的なコスト最適化です。 言語の選択：同じ内容でも英語は中国語より20〜50%少ないトークンを使用します。

すぐに実行できる3つのステップ： Anthropicのトークン計算ツールを使う：ConsoleのWorkbenchでプロンプトを入力すると、トークン数が直接表示されます。デプロイ前にコスト構造を計算してください。 System Promptを圧縮する：冗長な説明や例を削除します。説明的なテキストを指示的なテキストに置き換えます。 トークン使用量を追跡する：すべてのAPIレスポンスのusageフィールドからinput/outputトークン数を記録します。