
本文介绍如何将一组异步任务(如网页爬取)划分为多个批次,每批内任务并行执行,而批次之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
本文介绍如何将一组异步任务(如网页爬取)划分为多个批次,每批内任务并行执行,而批次之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
在 Web 爬虫等场景中,我们常需控制并发量以避免资源过载或被目标站点限流。一个常见需求是:对 10 个链接发起请求,但最多同时打开 3 个页面;前 3 个完成后再启动接下来的 3 个,依此类推。这本质上是「分组并发 + 组间串行」模式。
关键误区在于:Promise 一旦被创建(例如调用 async 函数),其内部异步操作即刻开始执行。因此,若先对全部链接生成 Promise 数组再分组 await Promise.all(),所有爬取请求其实早已并发发出——分组 await 只是等待结果,并不能约束执行时机。
✅ 正确做法是:延迟 Promise 的创建,仅在处理当前批次时才构造该批次的 Promise。
以下是完整、可直接使用的实现方案:
1. 工具函数:数组分块(Chunking)
export function splitArray<T>(array: T[], size: number): T[][] {
if (size < 1) throw new Error('Size must be >= 1');
const result: T[][] = [];
for (let i = 0; i < array.length; i += size) {
result.push(array.slice(i, i + size));
}
return result;
}2. 主爬虫函数:按块串行执行,块内并行
async function crawler(links: string[], page: Page): Promise<MyData[]> {
const allResults: MyData[] = [];
// 将链接切分为每组最多 3 个的块
const linkChunks = splitArray(links, 3);
for (const chunk of linkChunks) {
// ✅ 关键:仅在此处为当前 chunk 创建 Promise,确保执行时机可控
const promisesInChunk = chunk.map(async (link) => {
try {
const newPage = await page.browser().newPage();
const detail = await crawlLink(link, newPage); // 假设此函数返回 MyData | null
await newPage.close();
return detail;
} catch (err) {
console.error(`Failed to crawl ${link}:`, err);
return null as MyData;
}
});
// 等待本批次所有 Promise 完成
const results = await Promise.all(promisesInChunk);
// 过滤掉失败或空结果(类型断言已确保安全)
const validResults = results.filter((r): r is MyData => r !== null);
allResults.push(...validResults);
}
return allResults;
}⚠️ 注意事项与最佳实践
-
不要预先创建全部 Promise:
links.map(...)必须放在for...of循环内部,而非外部。 -
错误处理建议:当前使用
try/catch捕获单个链接异常,保证单点失败不影响整组;如需更细粒度重试,可在crawlLink内部封装。 -
资源清理:示例中显式调用
newPage.close(),防止 Puppeteer 页面泄漏;生产环境建议配合finally或using(TS 5.2+)确保释放。 -
性能权衡:
size = 3是经验性并发上限,可根据目标网站响应时间、内存限制及浏览器实例负载动态调整。
通过这种「延迟构造 + 分块 await」策略,你既能有效控制瞬时并发压力,又能保持代码简洁与逻辑清晰,是 Node.js/Playwright/Puppeteer 等场景下的推荐实践。

















