讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 网络大文件传输的性能瓶颈

冬磊君_5560

冬磊君_5560

发布时间:2026-02-16 14:26:48

|

901人浏览过

|

来源于php中文网

原创

大文件上传卡在requests.post()主因是默认内存加载和缓冲区阻塞;应改用data=file_obj流式上传、手动设buffering、复用连接池、检查中间件限制并控制异步并发。

python 网络大文件传输的性能瓶颈

大文件上传卡在 requests.post() 里不动?不是网络慢,是默认缓冲区拖垮了

Python 默认用 requests 发送大文件时,会先把整个文件读进内存再发出去——1GB 文件就占 1GB 内存,还可能触发系统 OOM。更隐蔽的问题是:它默认不流式读取,files 参数背后调用 open() 时没加 buffering=0 或分块逻辑,导致 I/O 阻塞在用户态缓冲区里。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 永远用 open(..., 'rb', buffering=8192) 手动控制缓冲区大小,别依赖默认值
  • 改用 requests.post(url, data=file_obj) 替代 files=...,绕过 requests 自带的 multipart 封装开销(尤其对单文件上传)
  • 加上 timeout=(30, 300):短连接超时 + 长传输超时,避免卡死在 socket write 阶段

urllib3 底层连接复用失效,每传一个分片都新建 TCP 连接

requests 基于 urllib3,但默认 PoolManager 的 maxsize 是 10,且不自动复用上传中的连接。大文件切片上传时,如果每个分片都走独立 requests.post(),很可能每请求都新建连接,三次握手 + TLS 握手叠加,吞吐直接掉一半。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 显式复用 urllib3.PoolManager 实例,设置 maxsize=20 和 block=True
  • 上传前预热连接:pool.urlopen('HEAD', base_url, preload_content=False)
  • 分片上传时,确保所有请求共用同一个 session 或 pool,别每次 new 一个 requests.Session()

服务端接收不到完整数据,客户端却显示“200 OK”

常见于 Nginx 或云厂商 LB 默认限制:比如 client_max_body_size 1m、或阿里云 SLB 默认 POST body 上限 10MB。客户端收到 200 是因为 LB 返回了自定义错误页(伪装成成功),实际后端根本没收到请求体。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 上传前先发个 HEAD 请求检查服务端返回的 Content-Length 或自定义 header(如 X-Upload-Limit)
  • 捕获响应 body 中是否含明显 HTML 错误片段(如 <title>413 Request Entity Too Large</title>),别只看 status_code
  • 用 curl -v 对比验证:如果 curl 也失败,问题一定在链路中间件,不是 Python 代码

用 aiohttp 异步上传反而更慢?协程调度压垮了磁盘 I/O

异步库只加速网络等待,不加速磁盘读。如果同时启动 50 个 aiohttp.ClientSession.post() 上传 50 个 200MB 文件,操作系统会瞬间产生大量随机读请求,SSD 队列深度溢出,IOPS 反而暴跌。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 并发数严格限制在 min(8, os.cpu_count() * 2),优先保磁盘顺序读
  • 每个上传任务内用 async with aiofiles.open(..., 'rb') as f + await f.read(64*1024) 分块,别 await f.read() 一锅端
  • 加 asyncio.Semaphore 控制全局并发,比靠事件循环“自觉”更可靠

真正卡住大文件传输的,往往不是带宽,而是你没意识到 Python 的文件对象、HTTP 库、中间网关三者之间那几处默认行为的隐式耦合——比如 requests 怎么把 open() 结果转成 stream,urllib3 怎么决定复用哪个 socket,还有 Nginx 怎么悄悄截断并伪造响应。这些地方不细看文档、不抓包验证,光调参数没用。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

423

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3827

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

6605

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

581

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1496

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3978

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

122

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

517

2026.01.13

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

100

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn