讲师中心 微信公众号
AI工具推荐 视频效率加速

JavaScript 中 Map 怎么在清洗后端返回的脏数据时过滤重复记录

云芳同学_6328

云芳同学_6328

发布时间:2026-10-29 13:36:36

|

709人浏览过

|

来源于php中文网

原创

JavaScript中用Map去重的核心是利用键唯一性,以id等稳定字段为key存对象,自动覆盖重复项;可定制保留首个或最新记录,并在存入前完成标准化、空值处理等清洗动作。

javascript 中 map 怎么在清洗后端返回的脏数据时过滤重复记录

用 JavaScript 的 Map 清洗后端脏数据时过滤重复记录,核心是利用其键的唯一性,把能标识“重复”的字段(如 id、phone、email)作为 Map 的 key,值存原始对象或所需字段。只要 key 相同,后续插入会自动覆盖——这本身就是一种轻量、可预测的去重机制。

选对去重依据:提取稳定唯一标识

后端返回的数据常有字段缺失、空值、类型混乱等问题,不能直接拿整个对象当 key(Map 不支持对象作 key 且无法自动深比较)。应优先选择业务上真正唯一、清洗后可稳定提取的字段:

  • 若接口明确返回 id 字段,且后端保证其全局唯一,就用 item.id 作为 key
  • 若 id 缺失或为 null/undefined,可降级用组合键,例如 `${item.phone || ''}-${item.email || ''}`
  • 避免用易变字段(如 updatedAt、status)或含空格/大小写不一致的字段(如 name),必要时先 .trim().toLowerCase()

边遍历边存入 Map:天然覆盖重复项

遍历原始数组时,每次计算出 key,然后设进 Map。相同 key 的后续条目会自动替换前面的值,最终 Map.values() 就是去重后的干净数组:

const rawData = [
  { id: 1, name: "张三", phone: "13800138000" },
  { id: 2, name: "李四", phone: "13900139000" },
  { id: 1, name: "张三丰", phone: "13800138000" }, // 重复 id,但 name 脏
];

const uniqueMap = new Map();
rawData.forEach(item => {
  // 做基础清洗:确保 id 存在且为字符串/数字
  const key = item.id != null ? String(item.id) : null;
  if (key) {
    // 后续同 key 条目会自动覆盖,保留最后出现的(也可改为只保留首次)
    uniqueMap.set(key, item);
  }
});

const cleaned = Array.from(uniqueMap.values()); // [{ id: 1, name: "张三丰", ... }, { id: 2, ... }]

按需定制“保留首个”或“保留最新”逻辑

Map.set() 默认是覆盖,如果你希望保留第一次出现的记录(比如防止脏数据覆盖正确字段),只需加一层判断:

java-api-doc-generator
java-api-doc-generator

分析 Java Spring Boot 后端 Controller 代码,自动生成 Markdown 格式的接口文档。当用户说“生成 Java 接口文档”、“生成 API 文档”、“从 Spring 代码生成文档”时触发。

下载

立即学习“Java免费学习笔记(深入)”;

  • 保留首个:用 !uniqueMap.has(key) 控制是否插入
  • 保留最新(默认行为):直接 set 即可
  • 更复杂策略(如按时间选最新):可先清洗时间字段,再在 set 前做比较

配合其他清洗动作一起做:不止于去重

实际清洗中,去重只是第一步。你可以在塞入 Map 前,顺手处理常见脏数据:

  • 字段标准化:如 phone: item.phone?.replace(/[^0-9]/g, '')
  • 空值统一:如 name: item.name?.trim() || null
  • 类型修正:如 age: Number(item.age),并过滤 isNaN 的情况
  • 无效项跳过:如 if (!key || !item.phone) return;

这样,一个 Map 实例就能同时完成去重 + 标准化 + 过滤,代码简洁,逻辑清晰,也便于后续扩展校验规则。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2723

2023.08.11

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

6850

2024.03.19

后端的主要工作内容介绍
后端的主要工作内容介绍

后端是应用程序的服务端部分,负责核心任务,如数据库交互、业务逻辑处理和响应客户端请求。想了解更多后端的相关内容,可以阅读本专题下面的文章。

6326

2024.03.19

js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

5346

2023.06.20

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

1309

2023.07.04

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

5264

2023.07.04

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

1000

2023.09.01

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

1936

2023.09.04

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

40

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WebStorm 官方调试文档
WebStorm 官方调试文档

共0课时 | 0人学习

React 教程
React 教程

共58课时 | 12.3万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 6.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn