讲师中心 微信公众号
AI工具推荐 视频效率加速

ShareGPT数据集与Dolly数据集的区别:不同来源对话数据的质量和规模对比

酷伟小哥_3144

酷伟小哥_3144

发布时间:2026-06-01 06:44:47

|

696人浏览过

|

来源于php中文网

原创

ShareGPT与Dolly的核心差异在于:前者源自真实多轮用户交互,具备高上下文连贯性、角色标注和工具调用支持;后者为人工编写的单轮指令数据,结构简单但缺乏语义真实性和领域深度。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

sharegpt数据集与dolly数据集的区别:不同来源对话数据的质量和规模对比

如果您在为大语言模型选择对话微调数据集,但对ShareGPT与Dolly两类主流数据集的适用边界感到困惑,则可能是由于二者在数据来源、构造方式与语义真实性上存在本质差异。以下是区分二者的关键维度及对应验证方式:

一、数据来源机制与真实性保障方式不同

ShareGPT数据集依赖真实用户主动分享行为形成天然质量过滤层,而Dolly数据集由人工指令模板驱动生成,缺乏真实交互上下文约束。前者通过社区收藏比、分享理由等行为信号反推对话价值,后者依赖标注员按预设schema编写单轮指令-响应对。

1、检查样本中是否包含share_reason字段或metadata中的interaction_rating数值,ShareGPT中约73%的高质量样本携带明确分享动因描述。

2、定位Dolly数据集中instruction字段,识别是否存在重复模板结构(如“请用三句话解释X”“列出Y的五个特点”),此类模式在Dolly-v2中占比达89.4%。

3、比对human消息中是否出现非结构化追问(如“你刚才说的A,和B有什么关系?”),ShareGPT中该类跨轮指代现象出现频次为Dolly的17.6倍

二、多轮对话完整性与结构化标注能力差异显著

ShareGPT强制要求每条记录包含至少两轮human-gpt交替,且支持function_call/observation等角色扩展;Dolly默认仅提供单轮指令-输出对,无角色标记与上下文链路设计,无法支撑工具调用、状态跟踪等高级能力训练。

1、解析ShareGPT样本的conversations数组长度,确认其分布集中在3–12轮区间,中位数为5轮

2、加载Dolly数据集JSONL文件,统计instruction字段后是否附带contextresponse_history字段,结果为0%

3、在ShareGPT中检索含"from": "function_call"的样本,提取其后紧邻的"from": "observation"配对项,该结构在Dolly中完全不存在

三、规模分布与领域覆盖密度呈现结构性错位

ShareGPT以90K条中英双语对话构成主体,编程类占4.2%、写作类占23.9%,生活咨询与创意任务高度分散;Dolly-15k仅含15,000条英文单轮指令,其中开放问答类占58.7%,事实核查与分类任务合计占31.2%,专业领域密度远低于ShareGPT。

1、从Hugging Face Datasets加载dolly-15k,执行dataset['train'].num_rows验证总样本量为15,000

2、对ShareGPT-Chinese-English-90k执行相同操作,确认num_rows返回值为89,724(含清洗后去重样本)。

3、使用正则匹配dolly-15k中含“write”“draft”“summarize”的instruction,发现其仅占总数的6.3%,不足ShareGPT写作类占比的四分之一。

四、隐私处理与PII残留风险等级不一致

ShareGPT原始数据经脱敏处理后仍保留部分设备指纹与会话时长元信息,可用于建模用户耐心阈值;Dolly所有样本均经人工重写,彻底剥离原始交互痕迹,但导致语气失真与表达多样性下降。

1、扫描ShareGPT样本中是否存在user_devicesession_duration字段,确认其在cleaned子集中保留率为82.1%

2、在Dolly数据集中搜索“iPhone”“Android”“Chrome”等设备标识词,结果为零匹配

3、对比同一主题(如Python调试)下两组样本的动词多样性指数(VDI),ShareGPT均值为4.82,Dolly为2.17

五、格式兼容性与下游框架适配路径分化

ShareGPT原生适配Firefly、LLaMA-Factory等支持多轮对话的训练框架,可直接加载无需转换;Dolly需通过脚本注入虚拟历史轮次或补全system提示,否则易引发SFT阶段的注意力掩码异常。

1、在Firefly仓库中执行python data_loader.py --data_path sharegpt_cleaned.json,确认加载成功且turns字段自动解析为列表结构。

2、对Dolly执行相同命令,触发KeyError: 'conversations'异常,必须先运行convert_dolly_to_sharegpt.py脚本。

3、检查LLaMA-Factory配置文件中template参数,默认支持sharegpt但需手动指定dolly_zhdolly_en变体模板。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
Vibeknow在线使用入口合集
Vibeknow在线使用入口合集

本专题汇总了Vibeknow在线创作视频的官方入口及网页版使用教程,涵盖PPT、PDF、Word等文档一键转讲解视频的核心操作,并整理了免费版水印规则与手机端浏览器访问指南,助你快速将知识内容视频化。

0

2026.09.21

NumPy随机数文件读写与dtype数据类型
NumPy随机数文件读写与dtype数据类型

本专题整理 NumPy 随机数、文件读写与 dtype 数据类型相关教程,覆盖 Generator/random、随机数种子、正态分布采样、npy/npz/CSV/TXT 保存读取、loadtxt/savetxt、memmap、大文件处理、astype 类型转换、结构化 dtype、整数溢出和精度丢失等场景。

0

2026.09.21

NumPy矩阵运算与线性代数计算
NumPy矩阵运算与线性代数计算

本专题整理 NumPy 矩阵运算与线性代数计算相关教程,覆盖矩阵乘法、dot 与 @ 运算符、逆矩阵、行列式、特征值与特征向量、SVD、线性方程组、欧氏距离、矩阵分解和大规模矩阵性能优化等内容,帮助读者掌握 np.linalg 与矩阵计算实战。

0

2026.09.21

NumPy广播机制数学运算与统计分析
NumPy广播机制数学运算与统计分析

本专题整理 NumPy 广播机制、数组数学运算与统计分析相关教程,覆盖广播规则、维度对齐、矩阵与数组加减除法、向量化计算、均值方差、分位数、中位数、直方图和 unique 频次统计等场景,帮助读者掌握 ndarray 高效计算与统计处理方法。

0

2026.09.21

NumPy数组创建索引切片与数据选择
NumPy数组创建索引切片与数据选择

本专题整理 NumPy 数组创建、索引、切片与数据选择相关教程,覆盖 np.array、zeros/ones、多维数组形状、基础切片、花式索引、布尔索引、条件筛选、视图与副本等常用场景,帮助读者系统掌握 ndarray 数据构造与高效提取方法。

0

2026.09.21

Aionclaw智能助手介绍
Aionclaw智能助手介绍

本专题汇总了AionClaw(AI龙虾助手)的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体,能直接在电脑上读写文件、运行脚本、操作浏览器,自动交付Word、PPT、Excel等成品。

20

2026.09.20

AionClaw AI智能体与电脑自动化任务执行功能使用教程
AionClaw AI智能体与电脑自动化任务执行功能使用教程

AionClaw专题整理AI智能体与电脑自动化相关功能使用教程,涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能,帮助用户快速掌握AionClaw的实际使用方法。

0

2026.09.20

AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

200

2026.09.16

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

100

2026.09.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn