Cuts Long Horizon Inference Costs by 50% via external KV Cache Offload

一种用于大模型长序列推理的外部键值缓存卸载技术，通过将缓存数据移出显存，可降低50%的推理成本，适合需要高效处理长上下文的AI开发者和研究者。