线程池大小需按任务类型设定：CPU密集型用os.cpu_count()或+1，I/O密集型用cpu_count()×2至×8，混合型常用×4；max_workers是并发上限，非预分配数，需结合系统资源与任务粒度动态调整。
线程池大小设成 CPU 核心数 × 5 就行？
不行，这个数字对 I/O 密集型任务偏小，对 CPU 密集型任务又太大。线程池不是越大越好，关键看任务类型——CPU 密集型任务用太多线程反而触发频繁上下文切换，拖慢整体速度；I/O 密集型任务则需要足够线程来“等”网络、磁盘响应，空转时不占 CPU。
实操建议：
- 先明确任务性质：
requests.get()、open()、数据库查询属于 I/O 密集；纯数值计算、图像处理、加密解密属于 CPU 密集 - CPU 密集型：线程数 ≈
os.cpu_count()或os.cpu_count() + 1，再多基本白搭 - I/O 密集型：从
os.cpu_count() * 2起步，逐步加到os.cpu_count() * 8左右，观察系统负载和任务完成时间拐点 - 混合型（比如一边读文件一边算哈希）：优先按 I/O 占比调，通常
os.cpu_count() * 4是较稳的起点
ThreadPoolExecutor(max_workers=...) 的 max_workers 到底怎么填
max_workers 是硬上限，不是预分配数。它控制的是「同一时刻最多有几个线程在跑」，超出的任务会排队等待空闲线程。填得太小，队列积压；填得太大，线程创建/销毁开销和内存占用明显上升，尤其在短生命周期任务中。
常见错误现象：
立即学习“Python免费学习笔记（深入）”；
- 设了
max_workers=1000，结果ps aux | grep python看到几百个Thread-，内存涨得飞快，但总耗时没变短 - 设了
max_workers=1，所有任务串行，明明是网络请求却比单线程还慢（因为ThreadPoolExecutor自身调度也有微小开销）
实操建议：
- 避免写死数字，改用动态值：
max_workers=os.cpu_count() * 4 if 'io' in workload_type else os.cpu_count() - 如果任务本身带超时（如
requests.get(..., timeout=5)），可适当放大线程数——失败后线程快速释放，不会卡死 - Linux 下注意
/proc/sys/kernel/threads-max和 ulimit -u，线程数超限会抛OSError: can't start new thread
为什么开了 20 个线程，top 里看到的 CPU 使用率才 120%
这是正常现象，说明有线程在等 I/O，没占满 CPU。Python 的 ThreadPoolExecutor 不会把线程绑到特定核上，调度由 OS 决定；而且 CPython 的 GIL 让纯 Python 计算无法并行，只有 I/O 操作或调用 C 扩展（如 requests 底层的 libcurl）时才会真正释放 GIL 并发执行。
性能影响要点：
- GIL 不影响 I/O 并发效率，所以
requests、sqlite3、open()这类操作仍能靠多线程提速 - 纯
sum([x**2 for x in range(10**7)])这种计算，开 20 个线程和开 1 个几乎一样慢 - 想榨干 CPU，该用
multiprocessing或concurrent.futures.ProcessPoolExecutor，别在线程上硬扛
线程池大小和系统资源冲突的典型信号
不是报错才叫出问题。以下表现往往意味着 max_workers 设得不合理：
- 任务平均延迟突然变长，且
executor.submit(...)返回的Future对象长时间处于running状态却不 finish -
htop里看到大量线程状态为S（sleeping），但 CPU 利用率低、磁盘 I/O 高——说明线程都在等响应，池子可能不够大 - 程序运行一阵后抛
BrokenPipeError或ConnectionResetError，尤其在高频 HTTP 请求场景下——线程过多导致目标服务限流或本地端口耗尽（netstat -an | grep TIME_WAIT | wc -l超过 6w 就危险） - 日志里反复出现
concurrent.futures._base.TimeoutError，但单次请求其实很快——大概率是队列太长，任务等不到线程就超时了
最容易被忽略的一点：线程池大小不是孤立参数，它和任务粒度强相关。100 个 10ms 的请求，用 10 个线程比用 100 个更稳；但 10 个 5s 的请求，100 个线程就容易把系统拖垮。调参前先看单任务耗时分布。
