速 報2026.05.27 03:34
大規模言語モデル（LLM）のKVキャッシュは会話履歴の増加に伴い線形に膨張し、リソース制約のある環境でのメモリ負荷が課題となっている。AppleのEpiCacheは、エピソード記憶の概念を活用したKVキャッシュ管理手法で、長期会話における一貫性とパーソナライズを維持しながらメモリ使用量を抑える。
現代の大規模言語モデル（LLM）はコンテキスト長を数百万トークンにまで拡張しており、長い会話履歴に基づいた一貫性のあるパーソナライズされた応答が可能になっている。しかし、KV（Key-Value）キャッシュは対話履歴の拡大に比例して線形に増大するため、モデルのメモリフットプリント（memory footprint）がリソース制約のある環境では深刻な問題となる。
この課題に対処するため、Appleの研究チームはEpiCacheを提案した。EpiCacheはエピソード記憶（episodic memory）の仕組みにヒントを得たKVキャッシュ管理フレームワークであり、長期にわたる会話を限られたリソース環境でも実行できるよう設計されている。
