本文介绍如何使用Pandas高效、准确地将Excel中混有日文字符的全角数字（如「８９０」）批量转换为标准ASCII半角数字（如「890」），推荐采用str.normalize('NFKC')方法，兼顾Unicode兼容性与数据完整性。
本文介绍如何使用pandas高效、准确地将excel中混有日文字符的全角数字（如「８９０」）批量转换为标准ascii半角数字（如「890」），推荐采用`str.normalize('nfkc')`方法，兼顾unicode兼容性与数据完整性。
在处理含东亚文字（如日文、中文）的结构化文本数据时，常遇到全角字符（Full-width characters）问题：数字「０－９」、标点「ー」「、」「。」等以双字节形式存储，虽视觉相似但ASCII值不同，会导致正则匹配失败、数值计算异常、数据库导入报错或下游NLP任务偏差。例如：
いつもありがとう８９０ございます → 应转为 → いつもありがとう890ございます 忙しい７ー１０ー１ところ → 应转为 → 忙しい7-10-1ところ
✅ 推荐方案：使用 Pandas Series.str.normalize('NFKC')
NFKC（Normalization Form KC）是Unicode标准中专为“兼容性等价”设计的规范化形式，它不仅处理组合字符（如重音符号），更关键的是将全角ASCII字符（如全角数字、全角ASCII标点）无损映射为对应的半角ASCII字符，同时保留日文汉字、平假名、片假名等非ASCII字符原貌——这正是本场景的核心需求。
? 正确用法示例（读取Excel并处理单列）：
import pandas as pd
# 读取Excel文件（假设仅一列文本，列名为'text'）
df = pd.read_excel("data.xlsx", usecols=[0], header=None, names=["text"])
# 对目标列执行NFKC标准化（自动转换全角数字、全角ASCII标点）
df["text"] = df["text"].str.normalize('NFKC')
# 可选：验证效果
print(df["text"].tolist())
# 输出: ['いつもありがとう890ございます', '忙しい7-10-1ところ']
# 保存结果
df.to_excel("cleaned_data.xlsx", index=False)⚠️ 重要注意事项：
立即学习“Python免费学习笔记（深入）”；
- ❌ 不要对整DataFrame调用to_string()后再归一化（如原问题中的df.to_string()），这会破坏原始数据结构，生成带索引和格式的字符串，无法还原为列；
- ❌ 避免手动映射字典或正则替换（如replace({'０':'0', '１':'1', ...})），既不全面（遗漏全角标点如「ー」「％」），也易出错且不可维护；
- ✅ str.normalize('NFKC') 是向量化操作，性能优异，支持空值（NaN）安全跳过；
- ? 若需调试，可用 unicodedata.name(char) 查看字符Unicode名称，确认全角属性（如'FULLWIDTH DIGIT ZERO'）；
- ? 该方法同样适用于全角英文字母（ＡＢＣ→ABC）、全角空格（ → 空格）及常见全角标点（，．！？），一并清理。
总结：处理东亚文本中的全角数字，pandas.Series.str.normalize('NFKC') 是最简洁、健壮、符合Unicode标准的工业级解决方案。无需额外依赖，开箱即用，确保数据清洗的准确性与可复现性。
