讲师中心 微信公众号
AI工具推荐 视频效率加速

ShareGPT格式数据的Python解析方法:用代码读取和处理ShareGPT JSON数据的教程

胖磊君_9359

胖磊君_9359

发布时间:2026-05-20 11:14:59

|

894人浏览过

|

来源于php中文网

原创

ShareGPT格式JSON解析需适配多种结构:一用json模块遍历messages;二用Pydantic强校验;三用pandas结构化多对话;四归一化system与role;五用jsonpath-ng定位深层字段。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

sharegpt格式数据的python解析方法:用代码读取和处理sharegpt json数据的教程

如果您需要从ShareGPT格式的JSON文件中提取对话历史、角色信息或消息内容,但缺乏结构化解析逻辑,则可能因字段嵌套不一致或缺失键而报错。以下是针对ShareGPT格式数据的多种Python解析方法:

一、使用标准json模块加载并遍历messages字段

ShareGPT格式的核心是顶层键"conversations"或直接为消息列表,每条消息含"from"(角色)和"value"(内容),该方法适用于结构清晰、无嵌套错误的原始JSON文件。

1、用open()函数以UTF-8编码打开JSON文件。

2、调用json.load()读取整个文件为Python字典或列表。

立即学习“Python免费学习笔记(深入)”;

3、检查根结构是否为列表:若是,直接将其视为messages;若为字典,尝试获取key为"conversations"或"messages"的值。

4、遍历每条消息,提取from字段判断角色(如"human"或"assistant"),提取value字段获取文本内容。

二、使用Pydantic模型进行强类型校验与解析

当ShareGPT数据来源不可控、存在字段缺失或类型错乱时,Pydantic可自动过滤非法项、提供默认值并抛出明确错误,提升鲁棒性。

1、定义Message模型,包含from_(因from为Python关键字,需加下划线)和value两个必填字段,类型均为str。

2、定义Conversation模型,包含conversations字段,类型为List[Message]。

3、用json.load()读取文件后,传入Conversation.parse_obj()进行校验解析。

4、捕获ValidationError异常,打印具体缺失字段或类型不符位置。

三、使用pandas读取多条ShareGPT记录并结构化为DataFrame

当JSON文件包含多个独立对话(如每行一个JSON对象,或顶层为对话列表),pandas能快速展开嵌套结构,便于后续筛选、统计或导出CSV。

1、若文件为JSONL格式(每行一个JSON),使用pd.read_json(path, lines=True)直接加载。

dmap-jsapi-skill
dmap-jsapi-skill

DMap GL地图JSAPI(dmapgl)开发指南。用于编写、审查、调试 DMap 地图 API 代码,涵盖地图初始化、覆盖物渲染、图层管理、事件处理、控件交互等任务。当用户提及 dmap、dmapgl、jsapi‑gl 或相关地图开发需求时自动触发。

下载

2、若为单个JSON数组,先json.load()读取为列表,再传入pd.DataFrame()构造。

3、对messages列执行explode()操作,将每条对话的消息列表展开为多行。

4、对展开后的messages列使用apply(pd.Series)拆分为from和value两列。

四、处理含system消息和多轮交错的复杂ShareGPT结构

部分ShareGPT数据在messages外还包含"system"字段,或messages中混有"system"角色消息,需统一归一化为role-content二元结构以便下游使用。

1、优先读取顶层system字段,若存在则生成一条role为"system"、content为其值的记录。

2、遍历messages列表,对每个元素检查是否存在from键;若不存在,跳过该条目。

3、将"from"值映射为标准role:映射表为{"human": "user", "gpt": "assistant", "assistant": "assistant", "system": "system"}。

4、合并system消息与messages解析结果,按原始顺序组成统一的role-content序列。

五、使用jsonpath-ng库精准定位深层嵌套字段

当ShareGPT数据被包裹在多层无关结构中(例如"data"→"result"→"conversation"),手动逐层取键易出错,jsonpath-ng支持类似XPath的路径表达式进行灵活抽取。

1、安装库:pip install jsonpath-ng。

2、用json.load()加载原始数据为Python对象。

3、构造jsonpath表达式如$..messages或$..conversations[*].from,匹配任意层级下的目标字段。

4、调用parse(expr).find(data)获取匹配结果列表,遍历Match对象的value属性提取实际值。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

0

2026.10.15

MySQL 忘记密码怎么办
MySQL 忘记密码怎么办

MySQL忘记密码专题汇集不同版本与系统下的root密码重置方法,覆盖MySQL 5.7、8.0、Mac、Linux及本地集成环境,并提示恢复权限与重新登录的检查步骤。

0

2026.10.15

Vue.js 中 ref 和 reactive 的区别
Vue.js 中 ref 和 reactive 的区别

Vue.js中ref和reactive的区别专题汇集两种响应式API的定义、访问方式、对象解构、侦听与性能取舍等文章,帮助结合实际状态类型选择合适写法。

0

2026.10.15

VS Code 怎么配置开发环境
VS Code 怎么配置开发环境

VS Code开发环境专题汇集编辑器安装、语言扩展、编译器、解释器、终端和调试配置文章,覆盖Java、Python、C++和PHP等常见语言的入门设置。

0

2026.10.15

C++ 开发环境怎么搭建
C++ 开发环境怎么搭建

C++开发环境专题汇集Windows、Linux下的编译器与IDE安装配置教程,涵盖GCC、Clang、Visual Studio、CLion和VS Code,以及编译运行首个程序的步骤。

0

2026.10.15

Python 虚拟环境是什么
Python 虚拟环境是什么

Python虚拟环境专题介绍项目依赖隔离的作用,汇集venv与uv创建、激活、退出及解释器切换的相关文章,并覆盖Windows、Linux和VS Code中的常见配置问题。

0

2026.10.15

Python 怎么安装并配置环境变量
Python 怎么安装并配置环境变量

Python安装与环境变量配置专题汇集Windows、macOS和Linux的安装步骤、PATH设置、pip配置及常见报错排查文章,帮助完成解释器安装并验证命令行可以正常运行。

0

2026.10.15

PHP 连接 MySQL 失败怎么办
PHP 连接 MySQL 失败怎么办

PHP连接MySQL失败专题汇集PDO与MySQLi扩展配置、账号权限、主机端口、套接字和认证方式等排查文章,覆盖连接报错、密码变更与容器环境配置,帮助按错误提示定位原因并修复。

0

2026.10.15

PHP 表单提交后如何获取数据
PHP 表单提交后如何获取数据

PHP表单提交后如何获取数据专题汇集HTML表单提交、GET与POST接收、$_POST和$_GET读取、跨文件传值、单选与下拉字段获取,以及空值和接收失败排查等文章,帮助新手完成从提交到处理的完整流程。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn