multiprocessing.Pool.map卡住或报错的根本原因是忽略默认pickle序列化和资源隔离特性：参数须可pickle，子进程需独立初始化数据库连接等I/O资源，大数据量需用starmap+imap分批处理。
多进程能显著加速CPU密集型批处理，但直接套用 Pool.map 很容易卡在数据传输、共享资源或子进程崩溃上——尤其处理上千万条记录时，错误常出现在参数传递、数据库连接复用和结果收集环节。
为什么 multiprocessing.Pool.map 会卡住或报错
常见现象是程序无响应、子进程静默退出，或抛出 BrokenPipeError / PicklingError。根本原因不是并发本身，而是默认序列化机制和资源隔离特性被忽略：
-
map要求所有参数可被 pickle（比如不能传未绑定的类方法、lambda、数据库连接对象） - 每个子进程启动时重新导入模块，若主模块里有全局数据库连接（如
mysql = ConnectMySQL(Config)），子进程会尝试重复初始化，可能触发连接池耗尽或线程不安全错误 - 当数据量极大（如单次传入百万级列表），pickle/unpickle 开销飙升，甚至触发内存溢出
- Windows/macOS 下若没加
if __name__ == '__main__':，会反复 fork 主进程，导致无限递归创建子进程
用 starmap 处理多参数且避免闭包陷阱
当你需要为每条数据传多个参数（如 (id, image_base64, config)），别用 map + 匿名函数或闭包，而要用 starmap 配合元组解包。它明确要求参数是可迭代的元组序列，规避了作用域污染问题：
def process_item(item_id, img_b64, cfg):
img_data = base64.b64decode(img_b64)
md5 = get_md5_value(np.frombuffer(img_data, dtype=np.uint8))
# 注意：这里不能复用主进程的 mysql 实例
db = ConnectMySQL(cfg) # 每个子进程独立建连
db.update_md5(md5, item_id)
return md5
<p>if <strong>name</strong> == '<strong>main</strong>':
mysql = ConnectMySQL(Config)
data_rows = mysql.select_data() # 假设返回 [{'id': 1, 'upload_image': '...'}, ...]</p><pre class="brush:php;toolbar:false;"># 构造参数元组列表：每个元素是 (id, upload_image, Config)
args_list = [(r['id'], r['upload_image'], Config) for r in data_rows]
with Pool(4) as p:
results = p.starmap(process_item, args_list) # 安全、清晰、可预测
立即学习“Python免费学习笔记（深入）”；
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
用 imap + chunksize 控制内存与吞吐平衡
处理千万级数据时，map 会一次性把全部参数序列发给子进程，内存峰值高；imap 是惰性迭代器，配合 chunksize 可分批调度，既降低内存压力，又避免小任务频繁 IPC 开销：
- 设
chunksize=1000：每 1000 条数据打包成一个子任务，减少进程间通信次数 - 用
for res in p.imap(...)边计算边消费，适合需实时日志或提前终止的场景 - 注意：若函数执行时间极不均衡（比如部分图片超大），小
chunksize反而增加调度负担，建议先采样估算平均耗时再设值
示例中若要带进度条，直接用 tqdm(p.imap(...)) 即可，无需额外同步逻辑。
子进程中绝不能复用主进程的数据库连接或文件句柄
这是最隐蔽也最致命的坑。multiprocessing 的 fork（Linux/macOS）或 spawn（Windows）机制下，子进程继承的是主进程的文件描述符副本，但底层 TCP 连接、锁状态、缓冲区等无法安全共享。表现是：
- 随机出现
MySQL Server has gone away - 部分进程写入成功，部分静默失败
- 日志里看到重复的连接数暴涨
正确做法是：所有 I/O 资源（数据库连接、文件打开、HTTP session）必须在子进程内部按需创建、使用后立即关闭。不要试图用 Manager 或 Queue 传连接对象——它们不可 pickle，且即使能传也会引发竞态。
真正麻烦的从来不是“怎么开多进程”，而是“哪些东西不能跨进程传”——每次新增一个外部依赖（新库、新配置、新日志 handler），都得重审它的线程/进程安全性。这点比语法细节重要得多。
