arXiv论文提出CommitKV,降低多模态Agent的KV缓存开销
arXiv 论文提出免训练的 KV 缓存压缩方法 CommitKV,针对多模态 Agent 在推理和工具调用中不断累积视觉观察、推高缓存显存与推理成本的问题。现有 token 淘汰方法多依赖注意力权重、冗余度或阶段特定查询来排序 token,但不会在工具交互前后对同一段历史做显式对比;当新观察改变注意力分布时,暂时影响下降的信息可能被误判为无用而提前淘汰。CommitKV 在工具调用完成前和观察返回后分别测量同一页面的删除效应,据此做提交对齐的度量,并按生命周期管理缓存页退役。其思路是把“信息是否还有用”的判断从静态注意力分数转向跨工具轮次的动态比较,为长程多模态 Agent 的上下文管理提供可复用工程思路。