TempQuant提出为量化模型学习自适应温度与top-p
arXiv新论文TempQuant研究量化与解码参数之间的相互作用。作者指出,大模型越来越多以低精度部署,但量化会改变模型对下一个token的概率分布,从而影响生成质量。研究在部署温度下测量生成过程的熵,发现量化总体上会让模型“变热”,而且温度对量化模型性能的影响明显大于对全精度模型的影响。由于量化与温度都会塑造下一token分布,团队提出TempQuant方法,为量化模型学习温度与top-p设置,使其下一token概率更接近全精度模型,并在多个粒度上学习这些参数。这项工作提示,量化部署的效果不只取决于权重精度,解码配置也需要随之校准,对本地推理和低成本服务部署具有直接参考价值。