清华大学与微软的研究团队近期共同开发了一项创新技术，该技术能够在保持信息完整性的前提下，将提示词长度有效压缩至原始长度的五分之一。这一突破不仅显著提高了自然语言处理模型的效率，而且大幅度降低了处理时间与成本。
传统上，自然语言处理中的信息压缩依赖于信息熵方法，通过剔除某些词汇来减少文本冗余。然而，这种方法只考虑了文本的单向上下文，有时会遗漏重要信息。针对这一问题，研究团队提出了名为LLMLingua-2的全新数据精炼流程，这一流程可以在不丢失关键信息的前提下，实现对提示词的高效压缩。
在GitHub上，该项目已经获得了3100多个星标，显示出业界对此技术的高度认可。经过测试，LLMLingua-2在保持输出质量的同时，能够将文本长度减少至原始长度的20%，且处理速度较之前版本提高了3到6倍。
该方法的关键在于评估每个词汇的重要性，并基于此决定其是否应被保留。通过这种方式，模型选出评分最高的词汇，形成更加简洁的提示词。这一技术在多个数据集上的测试表现出色，不仅在英语，也在中文等多种语言上都展现了出色的泛化能力。
与此同时，研究团队也开发了一种新颖的数据标注算法和质量监控机制，以确保高质量数据的生成。通过将文本压缩问题转化为对每个词汇进行分类的任务，研究人员利用Transformer模型作为特征提取器，有效地抓取了对文本压缩至关重要的信息。
性能评估结果显示，LLMLingua-2在不同的大语言模型和语言任务中均取得了显著的性能提升，甚至在一些情况下超越了原始提示。此外，该方法还能大幅减少计算开销和GPU内存成本，为自然语言处理领域提供了一种高效且具有广泛应用潜力的解决方案。
相关文章
