解决模型升级带来的困扰
AI实验室在更新其底层大型语言模型时，常常会引发意外行为，包括彻底改变其响应查询的方式。苹果（Apple）研究人员开发了新方法，以改善用户在面对熟悉的AI模型升级时的体验。
在一篇研究论文中，苹果的研究人员指出，用户在与LLM互动时会发展出自己的系统，包括特定的提示风格和技术。切换到新模型可能会是一个耗时且令人疲惫的过程，从而降低用户的使用体验。尤其是对于使用iOS的主流用户来说，这种改变可能是不可接受的。
创建一致性指标
为了解决这个问题，苹果团队研究了创建指标以比较不同模型版本之间的回归和不一致性的方法，并开发了一种训练策略，以最大限度地减少这些不一致性的发生。尽管尚不清楚这项技术是否会成为未来iOS Apple Intelligence的一部分，但苹果显然在为更新底层模型后的情况做准备，以确保Siri在未来对相同查询做出一致的响应。
实现AI向后兼容
研究人员表示，通过使用他们的新方法，他们成功将负面翻转（即旧模型给出正确答案而新模型给出错误答案的情况）减少了最多40%。论文的作者还强调了在新旧模型都出现错误时保持一致性的价值。“我们认为，当两个模型都错误时，保持一致性是有价值的，”他们说，并补充道，“用户可能已经发展出应对模型错误时的互动策略。”因此，不一致会导致用户不满意。
展示MUSCLE方法
苹果研究团队称他们的解决方案为MUSCLE（兼容LLM进化的模型更新策略）。这一方法无需改变基础模型的训练，而是依赖于训练适配器，即LLM的插件，被称为兼容性适配器。为了测试这一系统的有效性，研究团队对如Llama和Phi等LLM进行了更新，发现某些任务中的负面翻转率高达60%。测试包括让更新后的模型回答数学问题，以查看它们是否仍然能正确回答特定问题。
通过使用MUSCLE系统，研究人员表示他们成功减少了相当数量的负面翻转，有时减少了多达40%。
应对快速发展的AI市场
鉴于ChatGPT和谷歌的Gemini等聊天机器人的快速更新，苹果的研究有望使这些工具的更新版本更加可靠。如果用户在切换到新模型时不得不在用户体验恶化之间做出权衡，那将是一个巨大的遗憾。苹果的新技术可能会使用户在享受新模型带来的改进时，不再需要面对适应新模型的困扰，从而提供更为稳定和满意的使用体验。
相关文章
