用Set清理CSV重复行的关键是先将每行转为唯一字符串标识再哈希去重，推荐JSON.stringify配合键排序或按业务字段拼接key，导出前需处理CSV转义且注意大数据量性能优化。
用 Set 清理 CSV 导出前的重复行，核心是把每行转成唯一字符串标识，再用 Set 去重，最后还原为数组。关键不在 Set 本身，而在“怎么定义一行是否重复”。
把每行对象转成标准化字符串再塞进 Set
直接对对象用 Set 无效（对象引用不同就视为不同），得先序列化。推荐用 JSON.stringify 配合 Object.keys().sort() 确保键顺序一致，避免因属性顺序不同导致相同数据被误判为不同：
const uniqueRows = Array.from(
new Set(
originalData.map(row =>
JSON.stringify(
Object.fromEntries(
Object.entries(row).sort(([a], [b]) => a.localeCompare(b))
)
)
)
)
).map(JSON.parse);
按业务字段去重（更轻量、更可控）
如果只关心几个关键字段（比如 id、email、手机号），不必全量序列化。拼接这些字段生成唯一 key，效率更高，也避免无关字段变动影响去重结果：
- 例如按 id 去重：
new Set(originalData.map(r => r.id))，再配合Map或filter提取首条记录 - 按多字段组合（如 name + phone）：
r => `${r.name}|${r.phone}`，注意用分隔符防歧义 - 建议对字段做 trim() 和统一大小写处理，避免空格或大小写导致漏去重
导出前原地去重，不改变原始数据结构
CSV 导出通常依赖二维数组（如 [["name","age"],["Alice",30]]）。若原始数据是对象数组，可先映射为字符串数组，再用 Set 去重行字符串：
Java Maven Common
下载
Java Maven 项目审查工作流的通用输入处理。当 Java Maven 项目以 ZIP压缩包或 GitLab 仓库 URL 形式提供且需要...时使用。
立即学习“Java免费学习笔记（深入）”；
const headers = ["name", "email", "phone"];
const stringRows = data.map(obj =>
headers.map(h => String(obj[h] ?? "").replace(/"/g, '""')).join('","')
);
const uniqueStringRows = [...new Set(stringRows)];
const csvContent = [headers.join(","), ...uniqueStringRows].join("\n");
注意：这里对字段值做了双引号转义（CSV 标准要求），并用 Set 直接去重整行字符串，简单可靠。
性能提醒：大数据量时别只靠前端 Set
超过 1 万行建议加节流提示，或后端配合去重。Set 本身很快，但 JSON 序列化和字符串拼接在大量数据下会有明显延迟。可考虑：
- 用
for循环 + 对象哈希代替 Set（V8 优化更好） - 对 id 类字段用
new Set()判断是否存在，边遍历边收集，内存更友好 - 导出前加 loading 状态，避免用户重复点击
不复杂但容易忽略：去重逻辑必须和业务语义对齐——是整行完全相同才算重复？还是某几个字段一样就合并？定好规则再选方法，比堆代码更重要。
