Array.from(new Set(arr))对简单原始值去重高效,百万级数据通常5–20ms;对象需用Map按字段去重;超大数据应分块、流式处理或移至Web Worker。

用 Set 配合 Array.from() 去重,本质是利用 Set 的唯一性 + Array.from 的高效转换能力,对普通数组去重确实快,但“海量数据毫秒级”需谨慎看待——它取决于数据规模、类型、运行环境,以及是否真正“原始”(如含对象、NaN、嵌套结构等)。下面讲清楚什么情况下真快、怎么写更稳、哪些坑要避开。
基础写法:适合简单原始值(字符串/数字/布尔)
这是最常见也最快的场景:
const data = [1, 2, 2, 3, 'a', 'a', true, true]; const unique = Array.from(new Set(data)); // → [1, 2, 3, 'a', true]
原理清晰:Set 构造时自动跳过重复项,Array.from 把 Set 实例转回数组。现代 V8 引擎对这种组合做了深度优化,百万级数字/字符串数组通常在 5–20ms 内完成。
避免隐式类型转换陷阱(比如 '1' 和 1 被视为不同)
Set 去重基于严格相等(===),所以 '1' 和 1 不冲突,但有时你希望统一处理:
- 若需数值归一化:先
.map(Number)或.map(x => +x),再进 Set - 若需字符串归一化(如忽略大小写):先
.map(x => String(x).toLowerCase()),保留原值可用 Map 映射 - 别直接对混合类型数组用 Set 后期待“智能去重”,它不会帮你做类型协商
对象数组去重?Set 本身不适用,得换思路
Set 对对象去重只认引用,两个内容相同但内存地址不同的对象仍算“不同”。这时不能靠 Array.from(new Set(arr)):
const users = [{id: 1}, {id: 1}];
console.log(new Set(users).size); // 2 —— 不去重!
正确做法(兼顾性能与可读):
- 按单字段去重(如
id):用Map缓存已见的 key - 代码示例:
const uniqueById = Array.from(new Map(data.map(item => [item.id, item])).values()); - 多字段或复杂逻辑:用
reduce+some或构建临时键(如JSON.stringify({a,b})),但注意性能和循环引用风险
超大数据量(千万级+)?别只依赖 Array.from + Set
当原始数组超过 500 万项,即使只是数字,V8 也可能因内存分配和 GC 暂停导致延迟波动。这时可考虑:
- 分块处理:用
for循环 + 手动 Set 累加,避免一次性构造超大数组 - 流式去重:边读取边判重(适合 Node.js ReadStream 或前端分页加载场景)
- Web Worker 中执行:防止阻塞主线程,用户感知仍是“毫秒响应”
- 真海量(GB 级):前端不该扛,应交由后端或 WASM 加速(如使用
fast-set类库)
不复杂但容易忽略:Set 去重快,前提是数据“干净”。预处理(过滤空值、标准化格式)往往比去重本身更耗时。先明确你的“海量”具体是多少、数据长什么样,再选方法——多数业务场景下,Array.from(new Set(arr)) 已足够又快又稳。

















