研究提出PACE框架,将感知首响延迟纳入检索增强对话服务优化目标
一篇新论文提出 PACE 框架,把“感知首字响应时间”(PTFR)正式定义为检索增强对话服务的体验目标,并在质量与成本约束下最小化该指标。与以往只做级联路由、语义缓存或自适应检索的方案不同,PACE 同时决定回复由哪些答案源组成,以及等待窗口用什么内容填充。系统包含三个机制:负载自适应级联路由器、路径与填充物联合控制器,以及波动感知的缓存准入策略。在 7.5 万条 CarQA 请求上,级联方案把纯大模型路径的 P95 首响时间从 0.53 秒降到 0.29 秒。该工作已在人形机器人销售服务中部署,说明延迟体验正成为对话系统可量化、可优化的工程指标,对客服、导购等实时场景有直接参考价值。