谷歌发布能让 AI 自主判断输出准确性的模型训练框架 ASPIRE

谷歌近日发布新闻稿，宣布推出ASPIRE训练框架，专为大语言模型设计。该框架旨在提升AI模型的选择性预测能力。

谷歌提到，当下大语言模型在自然语言理解和生成内容方面发展迅速，已被用于构建各种创新应用，但要应用于高风险决策类场合依然不妥。这是由于模型预测具有不确定性及“幻觉”可能，因此谷歌开发了一款 ASPIRE 训练框架，为系列模型引入了“可信度”机制，即 —— 模型会输出一系列答案，每个答案都会具有正确概率评分。

▲ 图源 谷歌新闻稿（下同）

在技术层面，该训练框架可划分为三个阶段：特定任务调整、答案采样和自我评估学习。

其中“特定任务调整”阶段是对已接受过基础训练的大型语言模型进行深入训练，专注于强化模型的预测能力。研究人员主要为模型引入一系列可调参数，在特定任务的训练数据集上微调预训练语言模型，从而提升模型预测性能，让模型能够更好地解决特定问题。

第二阶段为“答案采样”，经过特定微调后，模型可以利用先前学习到的可调参数，为每个训练问题生成不同的答案，并创建用于自我评估学习的数据集，生成一系列可信度较高的答案。研究人员同时使用 “集束搜索（Beam Search）”方法及 Rouge-L 算法来评估答案的质量，并将生成的答案及评分重新输入给模型开启第三阶段。

而在第三阶段“自我评估学习”中，研究人员为模型添加一组可调参数，专门用于提升模型自我评估能力。该阶段的目标是让模型学会“自己判断输出的答案准确性”，从而让大语言模型在生成答案时，还会附上答案的正确概率评分。

谷歌研究人员使用 CoQA、TriviaQA 和 SQuAD 三个问答数据集来验证 ASPIRE 训练框架的成果，据称“经过 ASPIRE 调整的 OPT-2.7B 小模型，表现远超更大的 OPT-30B 模型”。而这项实验结果也同时表明，只要经过适当的调整，即使是小语言模型，在部分场景下也可以超越大语言模型。

研究人员总结称，ASPIRE 框架训练能够显著提升大语言模型输出准确率，即使是较小的模型，也可以在经过微调后进行“准确且有自信”的预测。

以上是谷歌发布能让 AI 自主判断输出准确性的模型训练框架 ASPIRE的详细内容。更多信息请关注PHP中文网其他相关文章！