KV Cache（キーバリューキャッシュ）

概要

Transformerの自己注意機構では、新しいトークンを生成するたびに全入力トークンのKey・Valueを計算し直す必要があります。KV Cacheはこれらを初回計算時にGPUメモリに保存し、以降の生成ステップでは再利用します。コンテキストが長くなるほどキャッシュの恩恵が大きくなりますが、VRAMを多く消費するというトレードオフがあります。

プレフィックスキャッシング

System Promptや長いドキュメントを共有する複数のリクエスト間でKVキャッシュを再利用するプレフィックスキャッシングが商用APIで採用されています。AnthropicのPrompt CachingやOpenAIのPrompt Cachingがその例で、コストを大幅に削減できます。