讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 多核并行的 subinterpreter 实践

风强小哥_1857

风强小哥_1857

发布时间:2026-02-14 22:41:22

|

785人浏览过

|

来源于php中文网

原创

不能。subinterpreter 不绕过 GIL,不自动利用多核,仅隔离解释器状态;默认运行于同一 OS 线程,需配合 threading 且每个线程独占一个 subinterpreter,数据须用 channel 传 bytes,不支持多数 C 扩展。

python 多核并行的 subinterpreter 实践

subinterpreter 在 Python 3.12+ 真的能开多核吗

不能。subinterpreter 不绕过 GIL,也不自动利用多核 CPU;它只是把解释器状态隔离了,线程仍被锁在单个 OS 线程里跑。你用 interpreters.create() 起十个 subinterpreter,它们默认还是挤在同一个 OS 线程上,CPU 使用率不会超过 100%(单核满载)。

想真正并行,必须配合 threading 或 concurrent.futures.ThreadPoolExecutor,让每个 subinterpreter 运行在独立线程中——但注意:Python 3.12 的 subinterpreter 还不支持在线程间安全地传递对象,所以你得用字符串或字节序列手动序列化数据。

  • 常见错误现象:RuntimeError: cannot share objects between subinterpreters
  • 使用场景:适合隔离不可信代码、模块级状态污染严重的老代码、或需要快速重置全局命名空间的测试用例
  • 性能影响:创建 subinterpreter 开销比 threading.Thread 大得多,频繁创建/销毁反而更慢

怎么安全地往 subinterpreter 里传数据

别传对象,只传字符串、字节或通过 interpreters.channel_send()/channel_recv() 通信。Python 3.12 的 channel 是唯一被明确设计用于 subinterpreter 间交换数据的机制,且强制要求类型为 bytes。

示例:启动 subinterpreter 并传入参数

立即学习“Python免费学习笔记(深入)”;

提示词大师-python版
提示词大师-python版

图片提示词生成器?不止如此。 马甲系统 —— 把脑海中的画面,翻译成AI能理解的专业表达。 用得越多,它越懂你:首次需要多问几句确认方向,用久了几乎一说就懂。 用得越多,它越快:缓存机制让后续对话越来越省。 RAG进化:成功案例持续入库,越跑越聪明。 输入「新手指南」查看完整功能介绍

下载
import interpreters
chan = interpreters.create_channel()
sub = interpreters.create()
interpreters.run_string(sub, """
import interpreters
data = interpreters.channel_recv(<code>chan_id</code>)
# data 是 bytes,需自己 decode 或 pickle.loads
""")
interpreters.channel_send(chan, b'{"task": "parse"}')
  • 参数差异:run_string() 不接受 globals 或 locals 参数,所有上下文必须靠 channel 或内置模块(如 sys.argv 模拟)注入
  • 容易踩的坑:直接在 run_string() 里写 print() 可能没输出——subinterpreter 默认没有绑定 sys.stdout,需显式重定向或用 channel_send 回传结果

subinterpreter + threading 组合为什么常崩

因为 subinterpreter 不是线程安全的:一个 subinterpreter 只能被一个 OS 线程调用,且一旦被某个线程“占有”,其他线程再调用它的任何方法(包括 run_string())都会触发 RuntimeError: interpreter is already running。

  • 常见错误现象:RuntimeError: interpreter is already running 或静默卡死
  • 正确做法:每个线程只创建并独占一个 subinterpreter,不要复用;更不要在线程池里共享 subinterpreter 实例
  • 兼容性影响:Python 3.13 正在加 interpreters.is_running() 和更细粒度的生命周期控制,但 3.12 里只能靠外部同步(如 threading.Lock)硬保,效果有限

什么时候该放弃 subinterpreter 改用 multiprocessing

当你发现要反复做以下任一操作时,就该停了:手动序列化/反序列化、写 channel 通信胶水代码、给每个 subinterpreter 配一套 sys.path、或者为了“看起来像并行”而套三层 thread + subinterpreter + channel。

真实多核 CPU 密集型任务,multiprocessing.Process 仍是更稳的选择——它天然隔离内存、自动跨核调度、API 更直白。subinterpreter 的价值不在替代 multiprocessing,而在轻量级隔离和低开销重启,比如 Web 请求沙箱、REPL 环境重置、或嵌入式脚本引擎。

最容易被忽略的一点:subinterpreter 当前不支持 C 扩展模块(除非模块作者显式标注 PY_SSIZE_T_CLEAN 并适配新 ABI),很多常用库(numpy、requests)在 subinterpreter 中 import 就失败。别等跑起来才查这个。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

2420

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

229

2026.02.03

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1578

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2324

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5824

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

4989

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

6694

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

9114

2024.04.29

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn