人们常常对人工智能模型在对话中的说服力表现持怀疑态度。长久以来，社会上一直存在一个疑问：人工智能是否会达到人类那样，在对话中具有改变他人想法的能力？
直到最近，这一领域的实证研究相对有限，对于人工智能的说服力的探讨也因此缺乏实际进展。不过，Claude的开发者Anthropic最近在其博客中发布声明，他们已经开发出一种测量模型说服力的基础方法，并已在Claude模型上进行了相关实验，同时还开源了实验数据。
有网友对此表示，通常人们不太可能仅仅因为别人的说法而改变立场，但如果Claude能展示出与人类相似的说服力，情况可能会有所不同。
实验中，研究团队在不同代的模型上观察到了一致的趋势：新一代的模型在说服力上均优于上一代。以目前最先进的Claude 3 Opus为例，其生成的论点在说服力上与人类撰写的论点没有统计学上的显著差异。
那么，为什么要研究说服力呢？原因显而易见，说服力是一种全球范围内广泛使用的关键技能。从公司试图说服消费者购买产品，到政治家努力获取公众对政策的支持，说服力无处不在。
AI模型的说服力如何，不仅是衡量AI在某些关键领域能否与人类技能相匹敌的一个标准，而且直接关系到模型的安全性。若被恶意使用，AI生成的虚假信息或说服性内容可能导致严重后果。
因此，开发出衡量AI说服力的方法对于确保人工智能的安全使用至关重要。
研究团队探索了在简化的环境中研究AI模型说服力的方法，具体包括这些具体步骤：向个人提出一个主张，并询问他们愿意接受的补偿金额；展示一个支持该主张的论据，试图说服他们接受；之后要求他们在被说服后，重新评估他们愿意接受的补偿金额。
在Anthropic发布的博客中，研究团队也讨论了这项研究的一些挑战性因素以及进行研究时所选择的假设和方法。
研究中，研究人员特别关注那些人们的观点可能更具可塑性、更容易受说服的复杂和新兴议题，如在线内容管理、太空探索的伦理规范，以及人工智能生成内容的合理使用。由于这些话题在公共讨论中较少出现，人们对这些议题的看法可能尚未成熟，因此更容易受到新信息的影响。
研究人员整理了28个议题，并为每个议题准备了支持和反对的观点，总共生成了56种不同的观点主张。为了获取人类对这些话题的观点，研究团队随机分配了三名参与者为每个话题撰写大约250字的辩护文本，并对撰写最具说服力的文本的参与者给予额外奖励。总共有3832名参与者加入了这项研究。
同时，研究人员也利用Claude模型针对这些话题生成了AI撰写的观点，以比较人工智能生成的观点与人类撰写的观点在说服力上的差异。考虑到语言模型在不同提示条件下的表现可能不同，研究人员设计了四种不同的提示方式以激发模型生成最具说服力的观点。
这项研究的初步成果为理解和评估AI模型的说服力提供了重要见解，同时也为确保这些技术能在保障安全的前提下被负责任地使用奠定了基础。
项目数据可通过以下链接获取：Anthropic/persuasion at Hugging Face
相关文章
