RidgeFill:免训练填充后层缓存,缩短大模型长提示预填充
arXiv 新论文提出 RidgeFill,一种免训练的后层缓存填充方法,用于缩短大模型处理长提示词时的预填充阶段。它的做法是:提示词只在下层精确计算到某个切分点,后续各层的输入由基于切分点状态的逐层映射预测,后层据此直接写入 KV 缓存,从而跳过大部分上层计算。该设计借鉴 YOCO 与 DeepSeek-V4.1-Flash 把投影训练进模型的做法,但 RidgeFill 面向未为此训练的现成模型:映射用岭回归在单次校准文本上闭式拟合,层内原有投影保持不变;最后数千个 token 与每个解码步仍跑完整模型,不训练参数,也不丢弃 token。作者称主要工作量在建立可复现的测量方法,因为全 token 平均损失会掩盖方法差异。若结论成立,这类免训练改造可降低长上下文推理的算力门槛。