准备政务公文微调数据需五步：一、收集脱敏合规的权威公文；二、清洗并依国标标注结构；三、增强稀缺文体与注入纠错样本；四、转JSONL格式并逻辑分片；五、规则+人工+模型三重验证。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您尝试为千问Qwen政务公文模型准备微调数据，但缺乏结构化、合规、高质的训练语料，则可能面临生成内容格式失范、政策引用错误或语体不匹配等问题。以下是准备微调数据的具体步骤：
一、数据收集与来源筛选
政务微调数据必须源自真实、合法、脱敏的公文实践场景，确保语义真实性与格式权威性。需严格区分公开与非公开渠道获取的数据，并完成授权与脱敏处理。
1、从本单位近3年已归档的正式发文（含通知、请示、报告、函、会议纪要）中提取原始PDF或OFD文件，确保每份文件包含完整红头、发文字号、签发人、成文日期、印章位置等要素；
2、采集国家及省级政府官网公开发布的政策文件、解读材料、答复函件，重点选取国务院公报、地方政府规章汇编等具有法定效力的文本；
3、剔除涉密、敏感、未公开审批流程的内部草稿或征求意见稿，对涉及人名、地名、金额、编号等字段执行规则化脱敏，例如将“XX市财政局〔2024〕15号”替换为“【发文机关】〔YYYY〕NN号”；
二、清洗与标注规范统一
清洗目标是消除OCR识别错误、页眉页脚干扰、扫描畸变残留，并建立可被模型识别的结构化标注体系，使模型明确区分标题、主送机关、正文段落、附件说明等逻辑单元。
1、使用PDF解析工具（如pdfplumber或unstructured）提取纯文本，保留段落层级与换行逻辑，丢弃图像、表格（除非为公文附件且需单独建模）；
2、按《党政机关公文格式》（GB/T 9704-2012）定义12类标签，对每段文本打标，例如：<TITLE>关于开展2025年度政务AI应用试点工作的通知</TITLE>、<MAIN_RECIPIENT>各区县人民政府，市直各工作部门</MAIN_RECIPIENT>；
3、对同一事由的多版本公文（如请示初稿、修改稿、定稿）进行对齐标注，构建“输入指令→标准输出”配对样本，例如输入“拟一份关于调整防汛物资储备预算的请示”，输出为对应定稿全文并标注关键字段边界；
三、数据增强与平衡策略
增强目的在于提升模型对低频但关键公文类型（如批复、命令、议案）的泛化能力，同时避免高频类型（如通知）主导训练过程，导致小众文体生成失效。
1、对稀缺文体采用回译增强：将真实批复原文翻译为英文，再译回中文，人工校验后保留语义不变、格式合规的变体，扩充样本量；
2、按公文类型统计频次，对占比低于5%的类别（如“决议”“公告”）实施过采样，对通知类超量样本按语义聚类（如“人事任免”“工作部署”“会议通知”）分组，每组最多保留200份；
3、注入对抗样本：在标准正文中人工插入典型错误（如错用“抄送”代替“报送”、漏写“特此函复”、日期格式为“2025/03/01”），标注正确修正结果，强化模型格式纠错能力；
四、格式转换与分片控制
模型训练要求输入为统一编码、长度可控、结构清晰的文本序列，需将标注后语料转换为支持长上下文训练的token友好格式，并规避截断导致的结构断裂。
1、将标注文本转为JSONL格式，每行一个样本，包含“instruction”“input”“output”三字段，其中output字段严格按标注标签包裹，禁止自由文本；
2、对超过8192 token的超长公文（如含5个附件的工作方案），按逻辑节（发文依据、主要任务、保障措施、附件清单）切分为子样本，每个子样本保留完整指令上下文与局部输出；
3、在每条样本末尾添加特殊结束符[EOS_QWEN_GOV]，并在训练时配置tokenizer识别该token为有效终止信号，防止生成延续到下一文档；
五、质量验证与人工抽检
验证环节确保数据集整体符合政务语义一致性、格式强制性与政策准确性三重标准，杜绝“脏数据”污染模型认知基底。
1、编写规则校验脚本，自动检测每份样本是否缺失必有标签（如<TITLE>、<ISSUING_AUTHORITY>）、标签嵌套是否合法、发文字号正则匹配是否通过；
2、组织3名具备公文核稿经验的政务人员组成抽检小组，按5%比例随机抽取样本，对“政策依据引用准确性”“语气庄重性”“附件说明完整性”三项进行盲评，单项不合格率超15%即整批返工；
3、将抽检通过的数据集导入轻量Qwen2.5-0.5B-Instruct进行小规模LoRA微调测试，用固定提示词生成10份请示，人工比对生成结果中“妥否，请批示”结尾、成文日期右对齐、发文机关署名位置三项达标率，低于90%则回溯清洗环节；
