讲师中心 微信公众号
AI工具推荐 视频效率加速

如何通过Python中的yield关键字编写节省内存的生成器?

云墨小哥_5443

云墨小哥_5443

发布时间:2026-07-21 06:32:01

|

1017人浏览过

|

来源于php中文网

原创

普通函数用return一次性返回全部结果并占用大量内存,而yield返回生成器对象,惰性执行、逐个产出值且内存占用恒定;yield本质是可恢复的执行流,非延迟返回。

如何通过python中的yield关键字编写节省内存的生成器?

yield 生成器和普通函数返回值的区别

普通函数用 return 一次性把全部结果塞进内存,比如 range(1000000) 会立刻生成一百万个整数对象;而用 yield 的函数返回的是生成器对象,每次只产出一个值,用完即弃,不保留历史状态。关键不是“写法不同”,而是执行时机完全不同:函数体在第一次调用 next() 或进入 for 循环时才开始执行,遇到 yield 就暂停并交出当前值,下次再从暂停处继续。

常见错误是误以为 yield 是“延迟返回”,其实它是“可恢复的执行流”。如果函数里写了 return(哪怕没返回值),也会触发 StopIteration 异常——这是生成器结束的信号,不是错误。

什么时候必须用 yield 而不是 list 推导式

当数据源本身是流式、无限或体积远超可用内存时,yield 不是优化选项,而是唯一可行方案。比如读取一个 20GB 的日志文件逐行处理,或者实时监听传感器数据流。

  • [x*2 for x in range(10**7)] 会瞬间吃掉几百 MB 内存;换成 (x*2 for x in range(10**7))(生成器表达式)或带 yield 的函数,内存占用基本恒定在 KB 级
  • 若中间需要条件过滤(如只取偶数)、转换(如解析 JSON 字段)、或依赖前序状态(如计算滚动平均),list 推导式无法表达这种“状态感知”的迭代逻辑,必须靠 yield 函数手动维护状态变量
  • 生成器可以被多次消费吗?不能。生成器是一次性的,用完就空了。需要重复使用就得重新调用函数创建新生成器

yield from 在嵌套生成器中的实际作用

yield from 不是语法糖,它解决了子生成器的委托问题。没有它,你得手动写循环 + yield,还要自己处理 StopIterationsend()/throw() 传递。有了它,子生成器的 yield 值直接透传给外层调用者,异常和协程通信也自动桥接。

立即学习Python免费学习笔记(深入)”;

Shadows Python Sensei
Shadows Python Sensei

Python 最佳实践助手——代码规范、设计模式、性能优化、测试与类型注解。适用于编写或审查 Python 代码。

下载

典型场景:遍历嵌套结构(如树、多层 JSON、目录递归)。例如:

def walk_files(root):
    for path in os.listdir(root):
        full = os.path.join(root, path)
        if os.path.isdir(full):
            yield from walk_files(full)  # 直接委托,不用写 for item in walk_files(...): yield item
        else:
            yield full

注意:yield from 后面必须是可迭代对象(包括另一个生成器),不能是普通值;如果误写成 yield from 42,会报 TypeError: 'int' object is not iterable

生成器调试和内存泄漏风险点

生成器对象本身很小,但容易因闭包引用导致意外内存驻留。比如在生成器函数里捕获了大型对象(如 pandas DataFrame、大字符串),即使没显式 yield 它,只要变量名还在作用域内,整个对象就无法被 GC 回收。

  • 检查方法:用 gc.get_referrers(gen) 查看谁持有了生成器,再顺藤摸瓜找闭包变量
  • 避免方式:在不需要时主动删除局部变量,比如 del big_data;或把耗内存的预处理逻辑移到生成器外部,只把必要参数传进去
  • 调试技巧:用 inspect.getgeneratorstate(gen) 查看当前状态('RUNNING''SUSPENDED''CLOSED'),比盲目 print 更准;用 sys.getsizeof(gen) 确认生成器本身大小(通常 100–200 字节),排除“生成器占内存大”的误解

真正难搞的不是 yield 本身,而是生成器生命周期和外部资源(文件句柄、数据库连接)的耦合。一旦生成器被丢弃但没关闭,资源可能泄露。建议用 try/finally 或上下文管理器包裹关键资源操作。

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1551

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

3684

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1569

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

21017

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2587

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2647

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1083

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

576

2023.08.10

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

0

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn