ShareGPT格式JSON解析需适配多种结构:一用json模块遍历messages;二用Pydantic强校验;三用pandas结构化多对话;四归一化system与role;五用jsonpath-ng定位深层字段。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如果您需要从ShareGPT格式的JSON文件中提取对话历史、角色信息或消息内容,但缺乏结构化解析逻辑,则可能因字段嵌套不一致或缺失键而报错。以下是针对ShareGPT格式数据的多种Python解析方法:
一、使用标准json模块加载并遍历messages字段
ShareGPT格式的核心是顶层键"conversations"或直接为消息列表,每条消息含"from"(角色)和"value"(内容),该方法适用于结构清晰、无嵌套错误的原始JSON文件。
1、用open()函数以UTF-8编码打开JSON文件。
2、调用json.load()读取整个文件为Python字典或列表。
立即学习“Python免费学习笔记(深入)”;
3、检查根结构是否为列表:若是,直接将其视为messages;若为字典,尝试获取key为"conversations"或"messages"的值。
4、遍历每条消息,提取from字段判断角色(如"human"或"assistant"),提取value字段获取文本内容。
二、使用Pydantic模型进行强类型校验与解析
当ShareGPT数据来源不可控、存在字段缺失或类型错乱时,Pydantic可自动过滤非法项、提供默认值并抛出明确错误,提升鲁棒性。
1、定义Message模型,包含from_(因from为Python关键字,需加下划线)和value两个必填字段,类型均为str。
2、定义Conversation模型,包含conversations字段,类型为List[Message]。
3、用json.load()读取文件后,传入Conversation.parse_obj()进行校验解析。
4、捕获ValidationError异常,打印具体缺失字段或类型不符位置。
三、使用pandas读取多条ShareGPT记录并结构化为DataFrame
当JSON文件包含多个独立对话(如每行一个JSON对象,或顶层为对话列表),pandas能快速展开嵌套结构,便于后续筛选、统计或导出CSV。
1、若文件为JSONL格式(每行一个JSON),使用pd.read_json(path, lines=True)直接加载。
DMap GL地图JSAPI(dmapgl)开发指南。用于编写、审查、调试 DMap 地图 API 代码,涵盖地图初始化、覆盖物渲染、图层管理、事件处理、控件交互等任务。当用户提及 dmap、dmapgl、jsapi‑gl 或相关地图开发需求时自动触发。
2、若为单个JSON数组,先json.load()读取为列表,再传入pd.DataFrame()构造。
3、对messages列执行explode()操作,将每条对话的消息列表展开为多行。
4、对展开后的messages列使用apply(pd.Series)拆分为from和value两列。
四、处理含system消息和多轮交错的复杂ShareGPT结构
部分ShareGPT数据在messages外还包含"system"字段,或messages中混有"system"角色消息,需统一归一化为role-content二元结构以便下游使用。
1、优先读取顶层system字段,若存在则生成一条role为"system"、content为其值的记录。
2、遍历messages列表,对每个元素检查是否存在from键;若不存在,跳过该条目。
3、将"from"值映射为标准role:映射表为{"human": "user", "gpt": "assistant", "assistant": "assistant", "system": "system"}。
4、合并system消息与messages解析结果,按原始顺序组成统一的role-content序列。
五、使用jsonpath-ng库精准定位深层嵌套字段
当ShareGPT数据被包裹在多层无关结构中(例如"data"→"result"→"conversation"),手动逐层取键易出错,jsonpath-ng支持类似XPath的路径表达式进行灵活抽取。
1、安装库:pip install jsonpath-ng。
2、用json.load()加载原始数据为Python对象。
3、构造jsonpath表达式如$..messages或$..conversations[*].from,匹配任意层级下的目标字段。
4、调用parse(expr).find(data)获取匹配结果列表,遍历Match对象的value属性提取实际值。

















