
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,使每个批次内的 promise 并行执行,而批次之间严格串行执行,避免资源过载与竞态问题。
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,使每个批次内的 promise 并行执行,而批次之间严格串行执行,避免资源过载与竞态问题。
在 Web 爬虫等 I/O 密集型场景中,直接 Promise.all() 所有任务会导致瞬时并发过高(如同时打开 10 个浏览器页签),易触发反爬机制或耗尽系统资源;而完全串行(for...of + await)又严重降低效率。理想的折中方案是:按固定大小分组,组内并行、组间串行。
关键认知在于:Promise 一旦被创建(即调用异步函数返回 Promise 实例),其内部逻辑便已启动。因此,若先创建全部 Promise 再分组 await Promise.all(group),实际所有请求早已发出——分组 await 只是等待结果,并不能控制执行时机。
✅ 正确做法是:延迟 Promise 的创建,仅在处理当前批次时才构造该批次的 Promise 数组。
以下是完整实现:
1. 通用数组分块工具函数
export function splitArray<T>(array: T[], chunkSize: number): T[][] {
if (chunkSize < 1) throw new Error('chunkSize must be >= 1');
const result: T[][] = [];
for (let i = 0; i < array.length; i += chunkSize) {
result.push(array.slice(i, i + chunkSize));
}
return result;
}2. 分批爬取主函数(核心逻辑)
async function crawler(links: string[], page: Page): Promise<MyData[]> {
const results: MyData[] = [];
const chunks = splitArray(links, 3); // 每组最多 3 个链接
for (const chunk of chunks) {
// ✅ 仅在此处创建当前批次的 Promise —— 执行真正被延迟到此时
const crawlPromises = chunk.map(async (link) => {
try {
const newPage = await page.browser().newPage();
const detail = await crawlLink(link, newPage);
await newPage.close();
return detail;
} catch (e) {
console.error(`Failed to crawl ${link}:`, e);
return null as MyData;
}
});
// 等待本批次所有 Promise 完成
const batchResults = await Promise.all(crawlPromises);
// 过滤掉失败项并合并到最终结果
const validResults = batchResults.filter((r): r is MyData => r !== null);
results.push(...validResults);
}
return results;
}⚠️ 注意事项与最佳实践
-
避免提前实例化 Promise:不要在循环外调用
links.map(async () => ...),否则所有异步操作立即启动。 -
错误处理需粒度适中:单个链接失败不应中断整个批次,
try/catch应包裹每个子任务(如示例所示),而非整个Promise.all()。 -
资源清理必须可靠:确保
newPage.close()在成功/失败路径下均被执行(可考虑finally块或using语句(TS 5.2+))。 -
动态调节并发数:
chunkSize(如3)应根据目标网站的容忍度、本地内存/CPU 负载动态调整,生产环境建议通过配置注入而非硬编码。 -
添加节流与重试:可在
crawlLink内部集成指数退避重试,提升鲁棒性。
通过该模式,10 个链接将被划分为 [0–2]、[3–5]、[6–8]、[9] 四组,每组内 3(或更少)个请求并行发起,前一组全部响应后才启动下一组——真正实现可控并发、稳定高效。


















