Python进程池处理并发TCP请求导致客户端卡死：深度解析及解决方案

本文分析了使用Python multiprocessing.Pool 处理并发TCP请求时，客户端连接卡死的问题。该问题主要源于服务端代码在多进程环境下直接操作socket对象，导致资源竞争或文件描述符泄露，尤其在macOS系统上表现更为明显。

原始服务端代码中，multiprocessing.pool.apply_async 直接传递 socket.socket 对象给子进程。由于socket对象并非进程间可直接共享的资源，子进程复制父进程的socket对象后，同一个socket对象在多个进程中被使用，引发资源竞争。当并发连接数增多时，这种竞争加剧，最终导致客户端卡死。

为解决此问题，需要避免直接在进程间传递socket对象。改进后的代码通过 socket.fileno() 获取socket的文件描述符，并将文件描述符传递给子进程。子进程则利用 socket.fromfd() 从文件描述符重建socket对象，从而避免资源竞争。此外，在 start_request 函数中添加 finally 块，确保无论是否发生异常，都能正确关闭socket连接，防止文件描述符泄露。

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

立即学习“Python免费学习笔记（深入）”；

改进后的服务端代码：

import os
import socket
import sys
import time
import threading
from loguru import logger
from concurrent.futures import ThreadPoolExecutor
from concurrent.futures._base import Future
import multiprocessing

default_encoding: str = 'utf-8'

def init_serversocket() -> socket.socket:
    # ... (代码与原代码相同) ...

def send_response(clientsocket: socket.socket, addr: tuple, response_body: bytes) -> int:
    # ... (代码与原代码相同) ...

def start_request(clientsocket_fd: int, addr: tuple) -> int:
    clientsocket = socket.fromfd(clientsocket_fd, socket.AF_INET, socket.SOCK_STREAM)
    os.close(clientsocket_fd)  # 关闭父进程的文件描述符

    try:
        # ... (代码与原代码相同) ...
    except Exception as error:
        logger.exception(error)
    finally:
        clientsocket.close()  # 确保关闭socket连接

def worker_process(clientsocket_fd, addr):
    start_request(clientsocket_fd, addr)

if __name__ == "__main__":
    serversocket = init_serversocket()

    pool = multiprocessing.Pool(processes=16)

    while True:
        try:
            clientsocket, addr = serversocket.accept()
            clientsocket_fd = clientsocket.fileno()
            pool.apply_async(worker_process, (clientsocket_fd, addr))
        except Exception as error:
            logger.exception(error)

    pool.close()
    pool.join()

通过以上改进，服务端能够有效处理并发TCP请求，避免客户端卡死。关键在于利用文件描述符在进程间传递socket信息，并确保在任何情况下都正确关闭socket连接，释放相关资源。