Context Cachingで80%コスト削減：実装ガイド

Context Caching

API請求書を見て、目を疑いました。月200万円。

導入店舗数が増えるにつれて、API費用も比例して増加していました。このままでは事業として成り立たない。

エンジニアチームで請求内訳を分析したとき、ある事実に気づきました。

「同じことを何度も教えている」

私たちのシステムは、お客様から質問を受けるたびに、店舗の全情報をAIに渡していました。店名、住所、電話番号、営業時間、メニュー、FAQ——全部で約3,000トークン。

1日に1,000件の問い合わせがあれば、300万トークン。そのほとんどが、毎回同じ情報です。

AIに「うちの店は何時まで開いてる？」と聞くたびに、私たちは最初から店のことを全部説明していたのです。まるで、毎朝自己紹介から始める職場のようなものです。

「一度教えたら、覚えておいて」

AnthropicとOpenAIが提供するContext Caching機能は、まさにこの問題を解決します。

変わらない情報（店舗基本情報、メニュー、FAQ）をキャッシュに保存。お客様からの質問があるたびに、「変わる情報」だけを追加で渡します。

AIは、キャッシュされた情報を「覚えている」状態で返答します。

80%のコスト削減

キャッシュ導入後の数字です。

キャッシュヒット率は85%。つまり、85%のリクエストで、店舗情報を一から送り直す必要がなくなりました。

月間API費用は200万円から40万円へ。80%の削減です。

「順番」が大事

一つだけ注意点があります。キャッシュは、プロンプトの先頭から一致した部分だけが有効になります。

私たちは、変わらない情報を先頭に、変わる情報（今日の空席状況など）を後ろに配置するようにプロンプトを再設計しました。

AIに同じことを何度も教えない。シンプルな原則が、80%のコスト削減をもたらしました。