法律AIアシスタントアプリケーションに、完全な法的責任免除と行動ガイドラインを含むシステムプロンプトがあり、合計4,500トークンです。このアプリケーションのユーザーは1日あたり合計20,000件の質問をします。
プロンプトキャッシングなし:4,500トークン × 20,000コール = 9,000万トークン/日
プロンプトキャッシングあり(98%ヒット率を仮定):合計:1,062万トークン(元の11.8%)
このアプリケーションのシステムプロンプト関連コストは~$27/日から~$3.2/日に低下——月約$710の節約。ユーザー体験への変更なし。
図解
スクリーンショット歓迎。転載時は出典を明記してください。