为了防止AI聊天机器人给出有害回应，研究者们开发了一种新的机器学习模型。这种模型能够找到更多样化的训练聊天机器人的提示，以避免令人讨厌或有害的输出。用户可能会要求AI聊天机器人编写计算机程序或总结一篇文章，而该聊天机器人很可能能够生成有用的代码或撰写出清晰的概要。然而，也有可能被请求提供制造炸弹的指导，聊天机器人也可能应对得来。
为了防止这种及其他安全问题，构建大型语言模型的组织通常会采用一种称为红队测试的过程来进行保护。人类测试团队会编写旨在引发不安全或有毒文本的提示，用于训练聊天机器人避免这类回答。
然而，这种方法只有在工程师知道哪些提示可能有害时才有效。如果测试人员漏掉了某些提示，这是很可能发生的，一个被认为是安全的聊天机器人仍然有可能产生不安全的回答。
来自麻省理工学院不可能实验室和麻省理工学院-IBM沃森人工智能实验室的研究小组利用机器学习技术改进了红队测试。他们开发了一种技术，可以训练一个专门的大型语言模型，自动生成多样化的提示，以触发被测试聊天机器人更广泛范围的不良反应。
他们通过指导专门模型在编写提示时保持好奇心，并专注于那些能引发目标模型有害反应的新颖提示来实现这一点。
这项技术在生成更多独特提示和引发更有害反应方面，超过了人类测试者和其他机器学习方法。这种方法不仅显著提高了与其他自动化方法相比被测试输入的覆盖面，而且还能够从已经加入了人类专家设置的安全防护措施的聊天机器人中引出有害反应。
目前，每个大型语言模型都需要经过长时间的红队测试以确保其安全。如果希望在快速变化的环境中更新这些模型，这种方法将不可持续。该研究团队提供了一种更快、更有效的质量保障方法。
该团队还包括一群研究生、研究科学家以及来自计算机科学与人工智能实验室（CSAIL）的高级研究科学家和负责人。这项研究将在国际学习表征会议上展示。
自动化红队测试
像那些支撑AI聊天机器人的大型语言模型通常通过展示来自数十亿公共网站的大量文本进行训练。因此，它们不仅能学会生成有害内容或描述非法活动，这些模型还可能泄露它们可能收集的个人信息。
人类红队测试的繁琐和高成本本质，以及在生成足够多样化的提示以完全保护模型方面的低效性，促使研究者们寻求通过机器学习来自动化这一过程。
这些技术通常通过使用强化学习训练专门模型。这种试错过程奖励专门模型生成触发被测试聊天机器人产生有害反应的提示。
但由于强化学习的工作机制，专门模型往往会重复生成少数几个相似且高度有害的提示，以最大化其奖励。
该研究小组采用了一种名为好奇心驱动探索的技术。这种方法激励专门模型对每个生成的提示的后果保持好奇，因此它会尝试使用不同的词汇、句子结构或含义的提示。
当专门模型已经遇到过特定提示时，重复使用不会激发其好奇心，因此它会被激励创造新的提示。
在其训练过程中，专门模型生成一个提示并与聊天机器人交互。聊天机器人响应，安全分类器根据其回应的有害程度进行评分，根据这个评分奖励专门模型。
奖励好奇心
专门模型的目标是通过引发更有害的回应来最大化其奖励。研究团队通过修改强化学习设置中的奖励信号来激发专门模型的好奇心。
首先，他们增加了一个熵奖励，鼓励专门模型在探索不同提示时变得更加随机。其次，为了使代理更加好奇，他们引入了两种新颖奖励。一种基于提示中词汇的相似性，另一种基于语义相似性。（相似性较低的奖励更高。）
为了防止专门模型生成随机的、无意义的文本，这可能会误导分类器授予高有害评分，研究团队还在训练目标中加入了自然语言奖励。
通过这些调整，研究团队比较了他们的专门模型生成的反应的有害性和多样性与其他自动化技术。他们的模型在这两个指标上都超过了基线。
他们还使用专门模型测试了一个经过人类反馈调整的聊天机器人，使其不产生有害回应。他们的好奇心驱动方法能够迅速产生196个引发这个“安全”聊天机器人有害反应的提示。
模型的激增是一个趋势，预计只会增加。可以想象成千上万的模型，以及公司/实验室频繁推出模型更新。这些模型将成为我们生活中不可或缺的一部分，确保在公开发布前进行验证非常重要。手动验证模型根本不具备可扩展性，该团队的工作旨在减少人力，确保一个更安全、更值得信赖的人工智能未来。
未来，研究团队希望使专门模型能够生成涵盖更广泛主题的提示。他们还希望探索使用大型语言模型作为有害性分类器。这样，用户可以使用公司政策文件来训练有害性分类器，使专门模型能够针对公司政策违规测试聊天机器人。
如果您正准备发布一个新的AI模型，并担心它是否会按预期行为，那么请考虑使用好奇心驱动的红队测试方法。
相关文章
