整理 Excel 数据

概述

使用本技能将杂乱的电子表格数据转换为结构清晰、可审计的工作簿。优先采用可逆的工作流程：先检查、在必要时保留原始数据、以确定性方式清洗，并对每个有意义的假设进行明确记录。

工作流程

1. 当用户目标或期望输出格式不明确时，请先确认其具体需求。
2. 检查工作簿结构：工作表名称、行列维度、合并单元格、标题行位置、空白行/列、数据类型、潜在重复项，以及明显标识为 ID/日期/金额的字段。
3. 选择最稳妥的清洗级别：
   • 轻量级清洗：修剪文本内容、移除完全为空的行/列、标准化表头，保留全部记录。
   • 标准清洗：在轻量级清洗基础上，增加去重与常见类型强制转换（type coercion）。
   • 自定义清洗：应用用户指定的列规则、筛选条件、连接（join）、透视（pivot）或按工作表拆分等逻辑。
4. 若任务适配，使用 scripts/tidy_excel.py 执行可复现的工作簿清洗。
5. 对于复杂业务规则，编写简短的、面向任务的脚本或类 Notebook 风格 Python 片段，随后保存清洗后的工作簿及 QA 汇总报告。
6. 通过重新打开生成的工作簿，或使用 pandas/openpyxl 读取关键工作表的方式验证输出结果。

快速开始

运行内置脚本完成常见清洗任务：

python scripts/tidy_excel.py input.xlsx --output cleaned.xlsx

常用选项示例：

python scripts/tidy_excel.py input.xlsx --output cleaned.xlsx --dedupe --coerce-types
python scripts/tidy_excel.py input.xlsx --output cleaned.xlsx --sheet Orders --summary qa_summary.csv
python scripts/tidy_excel.py input.csv --output cleaned.xlsx --header-row 2

该脚本将清洗后的工作表写入 Excel 工作簿，并新增一个名为 _tidy_summary 的工作表，其中包含：行数、列数、重复行数、缺失值数量，以及推断出的各列数据类型。

清洗规则

除非用户另有明确指示，否则默认应用以下规则：

• 保留原始文件；新建工作簿输出，不覆盖原文件。
• 将表头统一转为小写 snake_case 格式；如存在重名，则添加数字后缀确保唯一性。
• 移除完全为空的行和列。
• 修剪文本单元格首尾空格，并将内部连续多个空格压缩为单个空格。
• 将常见空值标记（n/a、na、null、none、-、空字符串）视作缺失值处理。
• 除非用户明确要求过滤，否则不删除部分为空的行。
• 仅在用户明确请求去重，或用户提出“清洗/整理”类需求且存在完全一致的重复行时，才执行去重操作。
• 带前导零的标识符（如编号）默认保留为文本类型；仅当用户显式要求转为数值类型时才进行转换。
• 当日期或货币格式存在歧义时，避免执行具有破坏性的格式转换。

数据质量检查

在决定检查项或报告内容时，参考 references/quality-checks.md。最终响应中应附上简明 QA 备注，涵盖以下要点：

• 已处理的工作簿及工作表名称
• 清洗前后的行数与列数
• 移除的重复行数量（如有）
• 缺失率较高的列
• 所应用的假设或类型转换
• 输出文件路径

自定义任务

针对合并（merge）、透视（pivot）、分类映射（category mapping）、多行表头（multi-row headers）或领域特定规则等场景，请先全面检查工作簿结构，并据此调整清洗流程。优先使用 pandas 进行表格化变换；当需保留工作簿原有格式、公式或工作表级结构时，则选用 openpyxl。