javascript promise 实现异步操作的并行去重,核心思路是利用 map 对象在内存中缓存已发起的请求,确保相同参数只触发一次 fetch 或计算任务。具体做法是遍历输入列表,对每个唯一参数检查缓存是否存在;若不存在则创建新的 promise 并存入缓存,最后对所有生成的 promise 调用 promise.all 等待结果。这样做既保证了并发执行的速度,又避免了重复的网络请求或计算开销。

如何构建带缓存的并行请求器
构建带缓存的并行请求器需要封装一个函数,该函数接收一个参数映射表和一个获取数据的回调函数。在函数内部,我们初始化一个空的 Map 用于存储 key 到 Promise 的映射。接着,我们遍历所有需要处理的 key,对于每个 key,如果 Map 中已有对应的 Promise,直接复用;如果没有,则创建一个新的 Promise 实例,将其赋值给 Map 中的该项,并立即返回这个新创建的 Promise。最后,收集所有处理后的 Promise 数组,使用 Promise.all 进行聚合。这种模式确保了即使多个调用者同时请求相同的 key,底层的异步操作也只执行一次。

function parallelDedup(keys, fetchFn) {
const cache = new Map();
const promises = keys.map(key => {
if (!cache.has(key)) {
cache.set(key, fetchFn(key));
}
return cache.get(key);
});
return Promise.all(promises);
}上述代码展示了最核心的逻辑。假设 keys 为 ["a", "b", "a"],fetchFn 是一个模拟网络请求的函数。当执行时,"a" 第一次出现会创建 Promise 并存入缓存,第二次出现时直接返回缓存中的同一个 Promise。最终 promises 数组包含三个元素,但其中两个指向同一个底层任务。Promise.all 会等待这三个 Promise 全部 resolve,由于它们是共享的,实际只发生了一次异步操作。返回值是一个数组,顺序与输入的 keys 严格对应,即 [resultA, resultB, resultA]。
立即学习“Java免费学习笔记(深入)”;
使用Atmosphere构建通过WebSocket、SSE、gRPC、WebTransport、MCP、A2A和AG-UI流传输的JVM代理网关,并带有治理钩子。
如何处理并发冲突与异常隔离
在处理高并发场景时,必须考虑异常处理和内存泄漏问题。如果某个异步操作失败,其对应的 Promise 将进入 rejected 状态。由于多个调用者共享同一个 Promise,任何一个调用者的捕获都会影响其他调用者。此外,如果不加限制地缓存,随着时间推移,Map 可能会占用过多内存。因此,通常需要在缓存策略中加入过期时间或最大容量限制。对于异常隔离,如果希望重试机制生效,不能简单地复用失败的 Promise,而应该在检测到失败后从缓存中移除该条目,或者使用更复杂的策略如 Promise.race 结合重试逻辑。

async function robustParallelDedup(keys, fetchFn, maxAge = 5000) {
const cache = new Map();
const now = Date.now();
// 清理过期缓存
for (const [key, { promise, timestamp }] of cache.entries()) {
if (now - timestamp > maxAge) {
cache.delete(key);
}
}
const promises = keys.map(async key => {
let cached = cache.get(key);
if (cached && Date.now() - cached.timestamp <= maxAge) {
try {
return await cached.promise;
} catch (e) {
// 如果缓存的promise失败了,可能需要重新请求
cache.delete(key);
}
}
const promise = fetchFn(key).catch(err => {
cache.delete(key); // 失败后清除缓存以便重试
throw err;
});
cache.set(key, { promise, timestamp: Date.now() });
return promise;
});
return Promise.all(promises);
}这段代码引入了时间戳和异常处理机制。当 fetchFn 抛出异常时,我们在 catch 块中删除了缓存中的条目。这意味着下一次请求相同的 key 时,会重新发起一个新的异步请求。这解决了“坏缓存”的问题。同时,通过检查 maxAge,我们确保了旧的数据不会被无限期地使用。这种设计在保持并行去重优势的同时,提高了系统的健壮性。需要注意的是,robustParallelDedup 返回的结果数组依然与输入 keys 一一对应,任何单个元素的失败都会导致整个 Promise.all 拒绝,除非外层有额外的错误处理逻辑。
基于输入数组长度与缓存命中率的性能表现
当输入数组中存在大量重复项时,并行去重的优势最为明显。例如,如果输入数组长度为 1000,但只有 10 个唯一的 key,那么传统的并行请求会发起 1000 次请求,而使用去重方案只会发起 10 次请求。这极大地减少了网络开销和服务器负载。缓存命中率越高,性能提升越显著。然而,如果所有 key 都是唯一的,那么去重方案的额外开销主要来自 Map 的操作和 Promise 的创建,这部分开销极小,几乎可以忽略不计。因此,无论输入是否重复,该方案都能提供稳定且高效的并行处理能力。

















