你与聊天机器人交谈的方式可能比你想象的更重要
奥斯卡·黄/盖蒂图片社
正如许多人所做的那样，用不太正式的语言与人工智能聊天机器人交谈，会降低其反应的准确性——这表明我们在使用聊天机器人时需要在语言上更加严格，或者需要训练人工智能以更好地适应非正式性。
亚马逊的 Fulei Zhang 和 Zhou Yu 研究了人们如何开始与人类代理以及由大型语言模型 (LLM) 支持的聊天机器人助手进行对话。他们使用 Claude 3.5 Sonnet 模型根据一系列因素对对话进行评分，发现与聊天机器人交互的人们使用的语法不太准确，而且比与人类交谈时更不礼貌。他们使用的词汇范围也稍窄一些。
例如，根据 Claude 得出的分数，人与人之间的互动比与聊天机器人的对话礼貌和正式得多 14.5%，流利度高 5.3%，词汇多样性高 1.4%。
“用户在人类与法学硕士的对话中调整他们的语言风格，产生更短、更直接、不那么正式、语法更简单的信息，”作者在一篇关于这项工作的论文中写道，他们没有回应采访请求。 “这种行为可能是由 LLM 聊天机器人的用户心理模型决定的[s] 社会敏感度较低或细致入微的解释能力较差。”
但事实证明，这种不拘一格的做法有一个缺点。在第二次评估中，研究人员在 13,000 次真实世界的人与人对话中训练了一个名为 Mistral 7B 的人工智能模型，并用它来解释发送给人工智能聊天机器人的 1357 条真实世界消息。他们使用从有限列表中提取的“意图”来注释两个数据集中的每个对话，总结用户在每种情况下尝试执行的操作。但由于米斯特拉尔人工智能接受过人与人对话的训练，两人发现人工智能很难正确标记聊天机器人对话的意图。
随后，Zhang 和 Yu 尝试了各种策略来提高 Mistral AI 的理解能力。首先，他们使用 Claude AI 将用户更简洁的信件重写为类似人类的散文，并使用它们来微调 Mistral 模型。与默认响应相比，其意图标签的准确性降低了 1.9%。
接下来，他们使用 Claude 进行“最小”重写，该重写更短、更直白（例如，“下个月巴黎。航班酒店？”询问即将到来的旅行的旅行和住宿选择），但这使米斯特拉尔的准确性降低了 2.6%。另一种使用更正式和多样化的语言进行“丰富”重写的准确性也下降了 1.8%。只有通过对 Mistral 模型进行最小重写和丰富重写的训练，他们才看到性能提高了 2.9%。
诺亚·吉安西拉库萨 马萨诸塞州本特利大学的教授表示，人们对机器人的说话方式与对人类的说话方式不同，他并不感到惊讶，但这并不一定是需要避免的。
“人们与聊天机器人的沟通方式与与其他人的沟通方式不同这一发现很容易被认为是聊天机器人的缺点，但我认为事实并非如此，当人们知道他们正在与机器人交谈并相应地调整自己的行为时，这是件好事，”Giansiracusa 说。 “我认为这比一味地试图消除人类和机器人之间的差距更健康。”
主题：
