
本文讲解如何将一组异步任务(如网页爬取)划分为固定大小的组,确保每组内任务并行执行、组与组之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
本文讲解如何将一组异步任务(如网页爬取)划分为固定大小的组,确保每组内任务并行执行、组与组之间严格串行,避免因提前创建 promise 导致的“全部立即触发”问题。
在 Web 爬虫等 I/O 密集型场景中,我们常需控制并发粒度:既要避免单个请求串行导致效率低下,又要防止无限制并发压垮目标服务或耗尽浏览器页签资源。理想策略是 “组内并行 + 组间串行” —— 即每 3 个链接组成一组,该组内 3 个爬取任务同时启动;待整组全部完成后再启动下一组。
关键误区在于:Promise 一旦被创建(如调用 async 函数),其内部异步操作便已开始执行。因此,若先对全部链接生成 Promise[],再分组 await Promise.all(group),实际所有请求早已并发发出——分组 await 只是等待结果,并不能控制执行时机。
✅ 正确做法是:延迟 Promise 的创建,仅在处理当前组时,才为该组链接动态生成 Promise 数组。
以下是完整、可直接使用的实现方案:
1. 通用数组分块工具函数
export function splitArray<T>(array: T[], size: number): T[][] {
if (size < 1) throw new Error('Chunk size must be >= 1');
const chunks: T[][] = [];
for (let i = 0; i < array.length; i += size) {
chunks.push(array.slice(i, i + size));
}
return chunks;
}2. 分组调度式爬虫主函数
async function crawler(links: string[], page: Page): Promise<MyData[]> {
const results: MyData[] = [];
const chunks = splitArray(links, 3); // 每组最多 3 个链接
for (const chunk of chunks) {
// ✅ 关键:仅在此处为当前 chunk 创建 Promise,确保前一组完成才启动本组
const crawlPromises = chunk.map(async (link) => {
try {
const newPage = await page.browser().newPage();
const detail = await crawlLink(link, newPage);
await newPage.close();
return detail;
} catch (err) {
console.error(`Failed to crawl ${link}:`, err);
return null as MyData;
}
});
// 等待本组所有 Promise 完成(并行执行 + 统一收口)
const groupResults = await Promise.all(crawlPromises);
// 过滤掉失败项(null),合并到最终结果
const validResults = groupResults.filter((r): r is MyData => r !== null);
results.push(...validResults);
}
return results;
}⚠️ 注意事项与最佳实践
-
不要提前展开所有 Promise:切忌
links.map(...)放在循环外,否则所有爬取请求会在函数入口即刻发起。 -
错误处理需在每组内闭环:
try/catch应置于每个map回调中,保证单个链接失败不影响同组其他任务。 -
资源隔离很重要:每次
newPage()创建独立页面实例,务必close()防止内存泄漏;若使用 Puppeteer,还可考虑page.goto(..., { timeout: 30000 })设置超时。 -
扩展性提示:如需动态限流(如每秒最多 2 组),可在
for循环中加入await new Promise(r => setTimeout(r, 1000))实现组间节流。
通过这种“按需创建 + 分组 await”的模式,你既能充分利用并发提升吞吐,又能精准控制资源占用与执行节奏,是生产环境爬虫调度的推荐范式。


















