讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Laper
Laper

剧本策划到成片协作

SoundView
SoundView

字幕擦除翻译、配音口型同步

AniShort
AniShort

AI短剧协同制作平台

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

小涛大大_9828

小涛大大_9828

发布时间:2023-05-25 19:16:32

|

1914人浏览过

|

来源于51CTO.COM

转载

大模型的发展可谓一日千里,指令微调方法犹如雨后春笋般涌现,大量所谓的 ChatGPT “平替” 大模型相继发布。在大模型的训练与应用开发中,开源、闭源以及自研等各类大模型真实能力的评测已经成为提高研发效率与质量的重要环节。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

具体来说,在大模型的训练和应用中,大家可能遇到过以下问题:

1、在大模型微调或者增强预训练中使用了不同的基座和参数,根据观察到的样例效果,模型的表现在不同场景下各有优劣,如何确定在实际应用中使用哪个模型?

2、使用 ChatGPT 对模型输出进行评估,但是 ChatGPT 对相同输入在不同时间得到的评估结果不同,到底采用哪个评估结果?

3、采用人工标注对模型生成结果进行评测耗时费力,在经费预算有限和时间紧迫的情况下,如何加速评估过程并降低成本?

4、在处理机密数据时,不管用 ChatGPT/GPT4 还是标注公司进行模型评测都面临数据泄露问题,如何保证数据安全?

基于这些问题,来自北京大学、西湖大学等机构的研究者联合提出了一种全新的大模型评估范式——PandaLM。PandaLM 通过训练一个专门用于评估的大模型,对大模型能力进行自动化且可复现的测试验证。PandaLM 于 4 月 30 日在 GitHub 上发布,是全球首个评估大模型的大模型。相关论文会在近期公布。

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

github地址:https://github.com/weopenml/pandalm

PandaLM 旨在通过训练使得大模型学习到人类对不同大模型生成文本的总体偏好,并作出基于偏好的相对评价,以替代人工或基于 API 的评价方式,降本增效。PandaLM 的权重完全公开,可以在消费级硬件上运行,硬件门槛低。PandaLM 的评估结果可靠,完全可复现,并且能够保护数据安全,评估过程均可本地完成,非常适合学术界和需要保密数据的单位使用。使用 PandaLM 非常简单,只需三行代码即可调用。为验证 PandaLM 的评估能力,PandaLM 团队邀请了三位专业标注员对不同大模型的输出进行独立的优劣判断,并构建了包含 50 个领域、1000 个样本的多样化测试集。在此测试集上,PandaLM 的准确率达到了 ChatGPT 94% 的水平,且 PandaLM 产生了和人工标注相同的模型优劣结论。

PandaLM介绍

目前,主要有两种方式来评估大型模型:

(1)通过调用第三方公司的 API 接口;

(2)雇用专家进行人工标注。

然而,将数据传送给第三方公司可能导致类似三星员工泄露代码的数据泄露问题 [1];而雇佣专家标注大量数据既耗时又昂贵。一个亟待解决的问题是:如何实现保护隐私、可靠、可复现及廉价的大模型评估?

为了克服这两个评估方法的局限,该研究开发了 PandaLM,一个专门用于评估大型模型性能的裁判模型,并提供简便的接口,用户只需三行代码便可调用 PandaLM 实现隐私保护、可靠、可重复且经济的大型模型评估。关于 PandaLM 的训练细节,请参见开源项目。

为了验证 PandaLM 在评估大型模型方面的能力,研究团队构建了一个包含约 1,000 个样本的多样化人工标注测试集,其上下文和标签均由人类生成。在测试数据集上,PandaLM-7B 在准确度达到了 ChatGPT(gpt-3.5-turbo)的 94% 的水平。

如何使用 PandaLM?

当两个不同的大型模型针对相同的指令和上下文产生不同的回应时,PandaLM 的目标是比较这两个模型回应的质量,并输出比较结果、比较依据以及可供参考的回应。比较结果有三种:回应 1 更优;回应 2 更优;回应 1 和回应 2 质量相当。在比较多个大型模型的性能时,只需使用 PandaLM 进行两两比较,然后汇总这些比较结果来对模型的性能进行排名或绘制模型的偏序关系图。这样可以直观地分析不同模型之间的性能差异。由于 PandaLM 仅需在本地部署,且不需要人工参与,因此可以以保护隐私和低成本的方式进行评估。为了提供更好的可解释性,PandaLM 亦可用自然语言对其选择进行解释,并额外生成一组参考回应。

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

PandaLM 不仅支持使用 Web UI 以便于进行案例分析,还支持三行代码调用 PandaLM 对任意模型和数据生成的文本评估。考虑到许多现有模型和框架可能不是开源的或难以在本地进行推理,PandaLM 允许通过指定模型权重生成待评估文本,或直接传入包含待评估文本的 .json 文件。用户只需提供一个包含模型名称、HuggingFace 模型 ID 或 .json 文件路径的列表,即可利用 PandaLM 对用户定义的模型和输入数据进行评估。以下是一个极简的使用示例:

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

此外,为了让大家能够灵活地运用 PandaLM 进行自由评估,研究团队已在 HuggingFace 网站上公开了 PandaLM 的模型权重。通过以下命令,您可以轻松地加载 PandaLM-7B 模型:

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

PandaLM 的特点

ChatGPT Import
ChatGPT Import

导入并嵌入ChatGPT对话记录至OpenClaw记忆搜索库,便于归档和检索历史聊天。

下载

PandaLM 的特点包括可复现性、自动化、隐私保护、低成本及高评估水平等。

1. 可复现性:由于 PandaLM 的权重是公开的,即使语言模型输出存在随机性,但在固定随机种子后,PandaLM 的评估结果仍会保持一致。而依赖在线 API 的评估手段由于更新不透明,其评估结果在不同时间可能不一致,且随着模型迭代,API 中的旧版模型可能无法再访问,因此基于在线 API 的评测往往不具有可复现性。

2. 自动化、隐私保护与低成本:用户只需在本地部署 PandaLM 模型,调用现成命令即可评估各类大模型,无需像雇佣专家那样需保持实时沟通且担心数据泄露问题。同时,PandaLM 整个评估过程中不涉及任何 API 费用以及劳务费用,非常廉价。

3. 评估水平:为验证 PandaLM 的可靠性,该研究雇佣了三名专家独立完成重复标注,创建了一个人工标注测试集。该测试集包含 50 个不同场景,每个场景下还包含多个任务。这个测试集是多样化、可靠且与人类对文本的偏好相一致的。测试集中的每个样本由指令与上下文,以及两个由不同大模型生成的回应组成,并由人类来比较这两个回应的质量。

该研究剔除了标注员间差异较大的样本,确保每个标注者在最终测试集上的 IAA(Inter Annotator Agreement)接近 0.85。需要注意的是,PandaLM 训练集与该研究创建的人工标注测试集完全无重叠。

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

这些被过滤的样本需要额外的知识或难以获取的信息来辅助判断,这使得人类也难以对它们进行准确标注。经过筛选的测试集包含 1000 个样本,而原始未经过滤的测试集包含 2500 个样本。测试集的分布为 {0:105,1:422,2:472},其中,0 表示两个回应质量相似;1 表示回应 1 更好;2 表示回应 2 更好。

以人类测试集为基准,PandaLM 与 gpt-3.5-turbo 的性能对比如下:

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

可以看到,PandaLM-7B 在准确度上已经达到了 gpt-3.5-turbo 94% 的水平,而在精确率,召回率,F1 分数上,PandaLM-7B 已于 gpt-3.5-turbo 相差无几。可以说,PandaLM-7B 已经具备了与 gpt-3.5-turbo 相当的大模型评估能力。

除了在测试集上的准确度,精确率,召回率,F1 分数之外,该研究还提供了 5 个大小相近且开源的大模型之间比较的结果。该研究首先使用了相同的训练数据对这个 5 个模型进行指令微调,接着用人类,gpt-3.5-turbo,PandaLM 对这 5 个模型分别进行两两比较。下表中第一行第一个元组(72,28,11)表示有 72 个 LLaMA-7B 的回应比 Bloom-7B 的好,有 28 个 LLaMA-7B 的回应比 Bloom-7B 的差,两个模型有 11 个回应质量相似。因此在这个例子中,人类认为 LLaMA-7B 优于 Bloom-7B。下面三张表的结果说明人类,gpt-3.5-turbo 与 PandaLM-7B 对于各个模型之间优劣关系的判断完全一致。

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

基于以上三张表,该研究生成了模型优劣的偏序图,这个偏序图构成了全序关系,可以表示为:LLaMA-7B > Bloom-7B > Pythia-6.9B > OPT-7B > Cerebras-GPT-6.7B。

可复现、自动化、低成本、高评估水平,首个自动化评估大模型的大模型PandaLM来了

总结

综上所述,PandaLM 提供了除了人工评估和第三方 API 外的第三种评估大型模型的选择。PandaLM的评估水平不仅高,而且其结果具备可复现性,评估流程高度自动化,同时保护隐私且成本较低。该研究团队认为,PandaLM将推动学术界和工业界对大型模型的研究,并且使更多人从这一研究领域的进展中受益。欢迎大家关注 PandaLM 项目,更多的训练、测试细节、相关文章及后续工作都会公布在项目网址:https://github.com/WeOpenML/PandaLM

作者团队简介

作者团队中,王一栋* 来自北京大学软件工程国家工程中心(博士)和西湖大学(科研助理),于倬浩*、曾政然、蒋超亚、谢睿、叶蔚† 和张世琨† 来自北京大学软件工程国家工程中心,杨林易、王存翔和张岳† 来自西湖大学,衡强来自北卡莱罗纳州立大学,陈皓来自卡耐基梅隆大学,王晋东和谢幸来自微软亚洲研究院。* 表示共同第一作者,† 表示共同通讯作者。

热门AI工具

更多
Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2395

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3982

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1316

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4619

2025.09.10

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3268

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

5609

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3909

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

506

2026.01.19

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
DBeaver AI数据隐私指南
DBeaver AI数据隐私指南

共0课时 | 0人学习

XORM框架官方中文文档
XORM框架官方中文文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn