ShareGPT数据集语种分布需通过三步分析：一、用langdetect自动识别首条用户消息语种并统计占比；二、人工抽样校准修正误判；三、基于Unicode字符集特征粗筛并二次聚类，最终输出中、英、日、韩等语种精确占比。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望了解ShareGPT数据集中各语言内容的构成情况，则需要依据实际采样统计结果对中、英、日、韩等主要语种的对话样本进行比例测算。以下是基于公开可得版本（如sharegpt40k）的语种分布分析步骤：
一、基于语言检测模型的自动识别与统计
该方法利用预训练的语言识别工具（如fasttext或langdetect）对每条对话文本的首条用户消息进行语种判别，再汇总各语种出现频次以计算占比。其优势在于处理速度快、可覆盖大量样本，但对混合语言或短文本识别准确率有限。
1、下载ShareGPT原始JSONL格式数据集，并逐行解析每条对话记录。
2、提取每条对话中第一个"user"角色的消息内容，去除空格与特殊符号后保留纯文本片段。
3、调用langdetect.detect()函数对每段文本执行语言识别，捕获返回的语言代码（如"zh"、"en"、"ja"、"ko"）。
4、将识别结果归类计数，过滤掉置信度低于0.7的判定项，最终按语种分组统计总数并换算为百分比。
二、人工抽样验证与语种校准
为修正自动化识别中的误判偏差，需从各语种高频率样本中随机抽取子集，由母语者或双语审核员复核语言归属。此步骤用于调整初始统计结果，提升分布数据可信度。
1、从自动化识别结果中按比例抽取1000条标注为中文、英文、日文、韩文的样本，每类各250条。
2、邀请具备对应语言能力的审核人员判断每条消息是否真实属于该语种，记录一致率与典型误判类型（如含英文术语的中文句子被标为en）。
3、根据审核反馈构建映射修正表，例如将"en-zh混合且中文占主导"的样本重新归入"zh"类别。
4、应用修正表回溯调整全量识别结果，重新生成各语种加权占比数值。
三、基于字符集特征的语言粗筛
该方法不依赖模型推理，而是通过Unicode区块分布特征快速区分东亚语言与拉丁系语言，适用于无网络环境或轻量级预处理场景。虽无法精确区分日韩中文，但能有效分离出非英语主导区域。
1、遍历每条用户消息，统计其中属于CJK统一汉字区（U+4E00–U+9FFF）、平假名（U+3040–U+309F）、片假名（U+30A0–U+30FF）、谚文字母（U+AC00–U+D7AF）的字符数量。
2、若CJK相关字符占比超过60%，则暂归为"东亚语系"；若拉丁字母（a–z, A–Z）占比超85%且无CJK字符，则标记为"en"；其余归为"other"。
3、在"东亚语系"子集中，进一步依据常用助词（如"の""는""的"）和语法标记高频共现模式做二次聚类。
4、合并三次分类结果，输出中、英、日、韩四类基础占比及"其他语种"总量。
