プロンプトキャッシング

詳しい解説

プロンプトキャッシングとは、AIへの入力（プロンプト）のうち変わらない部分（長いシステムプロンプト・参照文書・ルール定義など）をサーバー側にキャッシュ（一時保存）し、次回以降のリクエストで再処理を省略する技術です。

通常、AIはリクエストのたびに入力トークン全体を処理するためコストと時間がかかります。プロンプトキャッシングを使うと、変わらない部分の処理をスキップでき、キャッシュヒット時はコストが最大90%削減・速度も大幅に向上します。

同じマニュアル・規程・参考資料を繰り返し参照させるシステムを構築する場合に特に効果的です。

現場での使い方・事例

社内文書RAGシステムでの活用：就業規則・製品仕様書など、毎回同じ文書を読み込ませるシステムでは、その文書部分をキャッシュすることで、ユーザーの質問ごとの処理コストと応答時間を大幅に削減できます。

カスタマーサポートボット：FAQ・対応ガイドライン・商品情報などのシステムプロンプトが長大になる場合、それらをキャッシュすることで、1日に何百回もリクエストが来るシステムのコストを大幅に抑制できます。

よくある誤解

「プロンプトキャッシングはAPIを使う開発者だけの話」ですが、中小企業でもDifyやn8nでAIシステムを構築する場合、バックエンドで使うAPIのキャッシング設定を検討する価値があります。月数万円のAPIコストが数千円に下がるケースもあります。