生成器省内存的关键在于请求、解析、提取三层均避免全量驻留：requests层用流式响应和及时丢弃；BeautifulSoup层用iterparse或作用域控制；提取层逐条yield且拆分耗时操作。
生成器不是加个 yield 就能省内存，关键得在请求、解析、提取三层都切断“全量驻留”路径——否则内存照样涨到 MemoryError 报错为止。
requests 请求层：别用 list(executor.map()) 收集全部响应
并发几百个 requests.get() 后直接塞进列表，等于把所有响应体（HTML/JSON/二进制）全锁在内存里。哪怕你后续只取标题，原始响应也纹丝不动。
- 改用
executor.map()+ 包裹生成器函数，让每个响应处理完立刻丢弃：def fetch_and_yield(url): resp = requests.get(url, timeout=10) # 立即提取关键字段，不保留 resp.text 或 resp.content yield {"url": url, "status": resp.status_code, "title": extract_title(resp.text)} # resp 对象作用域结束，引用计数归零，内存可回收 - 如果必须读原始响应流（比如大图或 PDF），用
resp.raw.iter_content(chunk_size=8192)，避免resp.content一次性加载 - 禁用
requests.Session()的连接池缓存（pool_connections=0, pool_maxsize=0），防止连接对象长期滞留
BeautifulSoup 解析层：别让 soup 对象活过单次 yield
很多人写成 soup = BeautifulSoup(html, "lxml"); items = soup.select("li.item"); return items，结果整个 HTML DOM 树一直占着内存，直到函数退出——而实际只需要其中几个文本字段。
- 用
lxml.etree.iterparse()替代BeautifulSoup解析超长 HTML，内存占用能压到 1/5；它边读边解析，不构建完整树 - 如果非用
BeautifulSoup，确保soup在yield后立即脱离作用域：def parse_page(html): soup = BeautifulSoup(html, "lxml") for tag in soup.select("article"): yield { "title": tag.h1.get_text(strip=True) if tag.h1 else "", "pub_time": tag.time.get("datetime") if tag.time else None } # soup 变量在此函数返回后自动销毁，DOM 树释放 - 禁用
BeautifulSoup的解析器缓存（features="lxml", parse_only=SoupStrainer(...)），减少冗余节点构建
数据提取层：字段提取逻辑必须独立成生成器，不能拼大字典再 yield
常见错误是循环里攒一个巨型 dict 或 list，最后 yield data_list——这等于没用生成器，还是全量驻留。
python-flask-vue-creator
下载
创建 Flask + Vue.js 全栈项目，采用单端口架构、uv 依赖管理、结构化日志和生产级前端设计。当用户要求以下操作时触发：创建新的 Flask+Vue 项目、搭建 Web 应用、构建全栈 Python+Vue 应用、初始化 Flask Web 项目、设置单端口 Flask 前后端项目。触发词：新建项目、创建项目、搭建项目、Flask项目、Vue项目。
立即学习“Python免费学习笔记（深入）”；
- 每条记录单独
yield，且字段提取函数本身也是生成器：def extract_items(html): soup = BeautifulSoup(html, "lxml") for item in soup.select(".post"): yield { "id": item.get("data-id"), "title": item.h2.get_text(strip=True), "tags": [t.get_text() for t in item.select(".tag")] } # 每次 yield 后，item 和临时变量自动清理 - 避免在生成器内做耗时操作（如正则匹配大量文本），把它拆成管道式小生成器：
def clean_text(text): yield text.strip().replace("\n", " ") - 不用
json.loads(response.text)解析大 JSON，改用ijson.parse()流式读取键值对
容易被忽略的内存泄漏点：全局缓存、日志、未关闭的文件句柄
生成器本身很轻，但周边代码可能悄悄拖住大量内存。比如日志里打印了完整 HTML 片段，或者用 functools.lru_cache() 缓存了上万条 URL 的解析结果。
- 检查所有
logging.info()是否误打了response.text或soup.prettify()，这类字符串极易撑爆内存 - 禁用
pandas.read_html()或json.load()这类“一键全吞”函数，它们内部默认加载整块数据 - 用
psutil.Process().memory_info().rss在关键节点打点监控，确认内存是否真在下降，而不是“看起来 yield 了，其实没释放” - 显式调用
del soup; gc.collect()在大解析块末尾，尤其当函数生命周期长（如 Flask 路由中复用爬虫逻辑）时
真正卡住内存的往往不是生成器写法，而是某处多持有了一个引用——比如日志、缓存、异常 traceback 里残留的响应对象。先监控，再定位，最后砍掉那个多出来的指针。
