
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,确保每批内的 promise 并行执行,而各批次之间严格串行执行,避免因提前创建 promise 导致的并发失控问题。
本文讲解如何将一组异步任务(如网页爬取)划分为多个批次,确保每批内的 promise 并行执行,而各批次之间严格串行执行,避免因提前创建 promise 导致的并发失控问题。
在 Web 爬虫等 I/O 密集型场景中,我们常需平衡效率与资源压力:完全串行太慢,完全并行又可能触发反爬机制或耗尽浏览器页签/连接数。理想的策略是分组并发——例如每 3 个链接组成一批,并行抓取该批所有页面;待整批完成后再启动下一批。但关键陷阱在于:Promise 一旦被创建(即调用 async 函数),其内部异步操作便立即开始执行。若先批量构造所有 Promise 再分组 await,实际仍是全量并发。
因此,正确做法是:延迟 Promise 的创建时机,仅在处理当前批次时才生成对应 Promise 数组。这意味着分组逻辑必须作用于原始数据(如 string[] 链接列表),而非已创建的 Promise[]。
以下是实现该模式的核心步骤与代码:
✅ 正确的分组工具函数(作用于原始数组)
export function splitArray<T>(array: T[], chunkSize: number): T[][] {
if (chunkSize < 1) throw new Error('chunkSize must be >= 1');
const result: T[][] = [];
for (let i = 0; i < array.length; i += chunkSize) {
result.push(array.slice(i, i + chunkSize));
}
return result;
}✅ 爬虫主函数:按批创建 + 并行执行
async function crawler(links: string[], page: Page): Promise<MyData[]> {
const allResults: MyData[] = [];
const linkChunks = splitArray(links, 3); // 按3个链接分组
for (const chunk of linkChunks) {
// ✅ 关键:仅在此处为当前批次创建 Promise
const crawlPromises = chunk.map(async (link) => {
try {
const newPage = await page.browser().newPage();
const detail = await crawlLink(link, newPage);
await newPage.close();
return detail;
} catch (e) {
console.error(`Failed to crawl ${link}:`, e);
return null as MyData;
}
});
// ✅ 当前批次内所有 Promise 并行执行,await 阻塞至整批完成
const batchResults = await Promise.all(crawlPromises);
// 过滤掉失败结果(null),合并到最终结果
const validResults = batchResults.filter((r): r is MyData => r !== null);
allResults.push(...validResults);
}
return allResults;
}⚠️ 注意事项与最佳实践
-
勿提前实例化 Promise:
links.map(() => asyncFn())应放在for...of循环内,而非循环外。 -
错误处理要粒度适中:单个链接失败不应中断整批,故
try/catch在每个map回调内;但需记录日志以便排查。 -
资源清理必须可靠:如示例中
newPage.close()放在finally块更健壮(此处为简洁省略,生产环境建议补充)。 -
动态限流可扩展:若需根据系统负载调整
chunkSize,可将其作为参数传入crawler。 -
类型安全增强:使用
as MyData类型断言前,建议通过isMyData()类型守卫校验结构,提升鲁棒性。
通过这种“延迟创建 + 批次等待”模式,你既能充分利用并发提升吞吐,又能精准控制资源占用节奏,是构建稳定、可伸缩爬虫系统的基石设计。


















