直接用request.FILES上传大文件会失败,因Django默认将整个请求体读入内存解析multipart/form-data,导致超时、OOM或被WSGI/Nginx截断;必须禁用默认处理器,改用request.body流式接收分块二进制数据并手动拼接。

为什么直接用 request.FILES 上传大文件会失败
因为 Django 默认把整个请求体读入内存,再解析 multipart/form-data,遇到几百 MB 甚至 GB 级文件时,要么超时、要么 OOM、要么被 WSGI 服务器(如 Gunicorn)直接 kill。Nginx 默认也会在收到完整请求体前就拒绝或截断——这不是 Django 的锅,是 HTTP 协议和中间件的天然限制。
所以必须绕过 request.FILES,改用流式接收原始 body,并自己解析分块数据。
- 禁用
DATA_UPLOAD_MAX_MEMORY_SIZE和FILE_UPLOAD_MAX_MEMORY_SIZE(设为 0),否则 Django 会在解析前就拒绝大请求 - Nginx 需配置
client_max_body_size 0(不限制)和proxy_buffering off,否则它会缓存整个 body 再转发 - 前端不能发
multipart/form-data整包,而应按 chunk 发纯二进制(Content-Type: application/octet-stream)
如何用 Django 接收并拼接分块文件
核心是重写视图逻辑:不走 request.FILES,而是从 request.body 读原始字节流,并结合前端传来的分块元信息(如 chunkIndex、totalChunks、identifier)做本地暂存。
示例关键逻辑:
立即学习“Python免费学习笔记(深入)”;
def upload_chunk(request):
if request.method != 'POST':
return JsonResponse({'error': 'Method not allowed'}, status=405)
<pre class="brush:php;toolbar:false;"># 前端应通过 URL query 或 header 传标识
identifier = request.GET.get('identifier')
chunk_index = int(request.GET.get('chunkIndex', 0))
total_chunks = int(request.GET.get('totalChunks', 1))
if not identifier:
return JsonResponse({'error': 'Missing identifier'}, status=400)
# 每个文件用 identifier 命名临时目录,避免冲突
upload_dir = os.path.join(settings.MEDIA_ROOT, 'uploads', identifier)
os.makedirs(upload_dir, exist_ok=True)
# 写入 chunk 文件:chunk_0000、chunk_0001...
chunk_path = os.path.join(upload_dir, f'chunk_{chunk_index:04d}')
with open(chunk_path, 'wb') as f:
f.write(request.body) # 直接写 raw body
# 检查是否所有 chunk 已到齐
chunk_files = sorted(glob(os.path.join(upload_dir, 'chunk_*')))
if len(chunk_files) == total_chunks:
# 合并
final_path = os.path.join(upload_dir, 'merged.bin')
with open(final_path, 'wb') as dst:
for cf in chunk_files:
with open(cf, 'rb') as src:
dst.write(src.read())
# 可选:触发异步处理(如转码、校验)
# cleanup_chunks(upload_dir) # 清理 chunk
return JsonResponse({'status': 'complete', 'path': final_path})
return JsonResponse({'status': 'chunk_received', 'received': len(chunk_files)})
Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期,并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看,该技能
- 不要用
request.read()替代request.body—— 在非流式请求中body已加载,但若启用了StreamingHttpResponse或自定义中间件,可能为空;确保request.body可用(即未被其他中间件消耗) - 合并时注意顺序:前端必须保证
chunkIndex从 0 开始连续递增,否则靠文件名排序不可靠 - 生产环境务必加锁(如基于
identifier的文件锁或 Redis 分布式锁),防止并发上传同一文件时合并错乱
如何实现断点续传的客户端状态同步
断点能力不靠后端“记住”,而靠前端主动探测已传哪些 chunk。后端只需提供一个校验接口,返回该 identifier 下已存在的 chunk 列表。
例如新增一个 check_chunks 视图:
def check_chunks(request):
identifier = request.GET.get('identifier')
if not identifier:
return JsonResponse({'error': 'Missing identifier'}, status=400)
<pre class="brush:php;toolbar:false;">upload_dir = os.path.join(settings.MEDIA_ROOT, 'uploads', identifier)
if not os.path.isdir(upload_dir):
return JsonResponse({'uploadedChunks': []})
chunk_files = glob(os.path.join(upload_dir, 'chunk_*'))
uploaded_indices = [
int(os.path.basename(f).split('_')[1])
for f in chunk_files if re.match(r'chunk_\d{4}', os.path.basename(f))
]
return JsonResponse({'uploadedChunks': sorted(uploaded_indices)})
- 前端调用此接口后,跳过
uploadedChunks中的索引,只上传缺失的 chunk - 注意:
identifier应由前端生成(如文件名+大小+最后修改时间的 hash),确保相同文件得到相同 id,避免重复上传 - 服务端不应长期保留未完成的
identifier目录,需配定时任务清理超时(如 24 小时)的临时目录
为什么不能依赖 Django 的 FileField 自动处理分块
FileField 是为单次小文件上传设计的,它的底层存储逻辑(default_storage.save())假设文件对象是完整的、可 seek 的。而分块上传中,你拿到的是一个个独立的二进制片段,没有文件名、没有 content-type、也没有 Django 的 InMemoryUploadedFile 或 TemporaryUploadedFile 封装。
- 试图把 chunk 写成
ContentFile再塞给FileField会失败:它需要最终合并后的完整文件对象,不是碎片 - 即使强行保存每个 chunk 到数据库字段,也会导致大量小 blob 写入,IO 效率极低,且无法利用 Django 的文件存储后端(如 S3)的分段上传原生支持
- 真正要对接云存储(如 AWS S3),应该用其 SDK 的
create_multipart_upload+upload_part+complete_multipart_upload流程,而不是在 Django 层模拟
分块上传的“大文件”本质是传输层问题,Django 只负责可靠接收和协调,真正的存储决策(本地磁盘 / S3 / MinIO)应在合并完成后单独触发,而非混在上传流程里。

















