Generator 实现大数据按需异步生成与处理，核心是解耦生产与消费，通过 async function* + for await...of 驱动异步迭代，配合背压控制、取消信号和错误透传保障健壮性。
用 Generator 实现大数据的按需异步生成与处理，核心在于把“数据生产”和“数据消费”解耦，配合 async/await 和 yield 控制节奏，避免一次性加载全部数据导致内存溢出或阻塞主线程。
Generator + Promise 封装异步数据源
Generator 本身不支持直接 yield await（语法错误），但可以通过封装成返回 Promise 的函数，在外部用 for await...of 消费。常见做法是让 Generator 函数每次 yield 一个 Promise，再由调用方 await 执行。
- 例如从分页 API 流式拉取海量日志：每页 100 条，总数据可能达百万级
- Generator 不主动发起请求，只负责“描述下一步该取哪页”，真正 fetch 放在消费侧
- 这样既保持逻辑清晰，又让错误处理、中断、限速等控制权交还给调用方
用 for await...of 驱动异步 Generator
ES2018 起支持异步迭代器（AsyncIterator），只要 Generator 函数用 async function* 声明，内部就能直接 await 和 yield，天然适配 for await...of。
- 写法简洁：
async function* fetchLogs() { for (let page = 1; ; page++) { const data = await fetch(`/api/logs?page=${page}`); if (!data.length) break; yield data; } } - 消费时自动等待每个
yield的 Promise 完成：for await (const chunk of fetchLogs()) { process(chunk); } - 注意：浏览器和 Node.js ≥10.0 均支持，但需确保运行环境启用 async iteration
结合可取消性与背压控制
真实场景中，下游处理可能比上游生成慢（如写文件、发网络请求），需要防止 Generator 过快“堆满”内存或触发未处理的 Promise。可通过以下方式增强健壮性：
立即学习“Java免费学习笔记（深入）”；
- 在
yield前加await等待消费确认（例如yield await Promise.resolve(chunk)），但更推荐用队列+信号量模型 - 传入
AbortSignal或自定义stop回调，在循环中定期检查是否中止 - 对高吞吐场景，用
pipeline思路串联多个异步阶段（如 fetch → transform → save），每个阶段独立节流
实际使用中的关键细节
Generator 异步化不是银弹，要注意几个易错点：
-
next()返回的是{ value: Promise, done: boolean }，不能直接解构value当作结果；必须await iterator.next() - 不要在 Generator 内部
try/catch异步错误并吞掉——异常应抛出，由for await或iterator.throw()统一捕获 - 若需重用 Generator（如多次遍历），需重新调用生成器函数创建新迭代器，因为迭代器是一次性的
- Node.js 中搭配
stream.Readable.from(AsyncGenerator)可无缝接入原生流生态
