☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
谷歌研究院使用自家BIG-Bench基准测试建立了“BIG-Bench Mistake”数据集，并对市场上流行的语言模型进行出错概率和纠错能力的评估研究。这一举措旨在提高语言模型的质量和准确性，为智能搜索和自然语言处理领域的应用提供更好的支持。
谷歌研究人员表示，他们创建了一个名为“BIG-Bench Mistake”的专用数据集，用于评估大语言模型的出错概率和自我纠错能力。这个数据集的目的是为了填补过去缺乏评估这些能力的数据集的空白。
研究人员使用 PaLM 语言模型在 BIG-Bench 基准测试任务中运行了 5 项任务。随后，他们修改了生成的“思维链（Chain-of-Thought）”轨迹，添加了“逻辑错误”部分，并再次使用模型判断思维链轨迹中的错误。
为了提高数据集的准确性，谷歌研究人员反复进行了上述过程，并形成了一个专用基准数据集，名为“BIG-Bench Mistake”，其中包含了255个逻辑错误。
研究人员指出，“BIG-Bench Mistake”数据集中的逻辑错误非常明显，因此可以作为一个很好的测试标准，帮助语言模型从简单的逻辑错误开始练习，逐步提高识别错误的能力。
研究人员利用该数据集对市面上模型进行测试，发现虽然绝大多数语言模型可以识别在推理过程中出现的逻辑错误并进行自我修正，但这个过程“并不够理想”，通常需要人工干预来纠正模型输出的内容。
▲ 图源 谷歌研究院新闻稿
本站从报告中发现，谷歌声称“目前最先进的大语言模型”自我纠错能力也相对有限，在相关测试结果中成绩发挥最好的模型，也仅仅找出了 52.9% 的逻辑错误。
谷歌研究人员同时声称，这一 BIG-Bench Mistake 数据集有利于改善模型自我纠错能力，经过相关测试任务微调后的模型，“即便是小型模型表现也通常比零样本提示的大模型更好”。
据此，谷歌认为在模型纠错方面，可以使用专有小型模型“监督”大型模型，相对于让大语言模型学会“纠正自我错误”，部署专用于监督大模型的小型专用模型有利于改善效率、降低相关 AI 部署成本，并更便于微调。
