讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

Seko
Seko

AI短剧一键生成成片

AniShort
AniShort

AI短剧协同制作平台

如何在 Python 中实现每个进程绑定多个 CPU 核心的多进程并行

千晨大大_2139

千晨大大_2139

发布时间:2026-01-16 21:26:03

|

734人浏览过

|

来源于php中文网

原创

如何在 Python 中实现每个进程绑定多个 CPU 核心的多进程并行

python 的 `multiprocessing.pool` 本身不支持“每进程分配 n 个核心”的语义,但可通过合理计算进程数、结合系统级绑定(如 `taskset` 或 `psutil`)与资源预留策略,间接实现每个工作进程独占固定数量 cpu 核心的目标。

在标准 Python 多进程模型中,multiprocessing.Pool(processes=N) 的 processes 参数指定的是并发进程数,而非直接分配的 CPU 核心数。操作系统调度器负责将这些进程映射到可用核心上,但默认不保证独占或绑定——即一个进程可能被动态调度到任意核心,多个进程也可能竞争同一核心,导致性能波动。

要实现“每个工作进程稳定占用 N 个核心”的效果,关键在于两层控制:

  1. 上层:控制并发进程数
    若系统共有 TOTAL_CORES 个逻辑核心,每个任务需独占 N_CORES_PER_PROCESS 个核心,且需为父进程预留 reserved_cores(例如 1–2 核用于主控、IO 或监控),则应设置:

    import os
    TOTAL_CORES = os.cpu_count() or 1
    N_CORES_PER_PROCESS = 2
    RESERVED_CORES = 2  # 为主进程保留资源
    
    max_processes = max(1, (TOTAL_CORES - RESERVED_CORES) // N_CORES_PER_PROCESS)
    with multiprocessing.Pool(processes=max_processes) as pool:
        results = pool.map(func, range(10000))
  2. 下层:强制核心绑定(推荐进阶方案)
    仅限制进程数无法防止 OS 调度干扰。真正保障“N 核/进程”,需在子进程启动时绑定其 CPU 亲和性(CPU affinity)。可借助 psutil 或 os.sched_setaffinity(Linux/macOS)实现:

    import multiprocessing
    import psutil
    import os
    
    def worker_init(cores_list):
        # 每个 worker 启动时绑定到指定核心列表
        p = psutil.Process()
        p.cpu_affinity(cores_list)
    
    def func(x):
        return x ** 2
    
    if __name__ == "__main__":
        TOTAL_CORES = os.cpu_count()
        N_CORES_PER_PROCESS = 2
        RESERVED_CORES = 2
        available_cores = list(range(RESERVED_CORES, TOTAL_CORES))
    
        # 划分核心组:[[0,1], [2,3], ...]
        core_groups = [
            available_cores[i:i + N_CORES_PER_PROCESS]
            for i in range(0, len(available_cores), N_CORES_PER_PROCESS)
        ]
    
        # 创建 Pool,为每个 worker 分配一组核心
        with multiprocessing.Pool(
            processes=len(core_groups),
            initializer=worker_init,
            initargs=(core_groups[0],)  # 注意:实际需按 worker 索引动态分配,此处简化;生产环境建议用全局计数器或队列分发
        ) as pool:
            results = pool.map(func, range(10000))

⚠️ 注意事项:

Todo List for MacOS
Todo List for MacOS

仅限macOS - 通过AppleScript管理macOS提醒事项应用。支持全功能提醒管理:添加、列出、完成、删除、搜索、创建列表等。

下载
  • psutil.cpu_affinity() 在 Windows 上部分版本可能不可用,建议优先使用 Linux/macOS 环境;
  • os.sched_setaffinity(pid, cpus) 更底层,但需手动管理 PID 和跨平台兼容性;
  • 避免过度预留(如 N_CORES_PER_PROCESS > 4),以防因核心碎片化降低整体吞吐;
  • I/O 密集型任务通常无需绑定多核,该模式更适合计算密集型、可并行向量化(如 NumPy 数组运算、科学计算)场景。

总结:Python 原生并无 cool_new_pool,但通过“进程数规划 + CPU 亲和性绑定”双策略,即可精准实现每个工作进程独占 N 个物理/逻辑核心的工程目标,兼顾性能可控性与资源利用率。

立即学习“Python免费学习笔记(深入)”;

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3479

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3018

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1548

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2739

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3370

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1737

2023.08.10

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2537

2023.08.28

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

5467

2023.08.30

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn