讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Python Django中处理大文件断点续传_通过FileField与前端分片上传配合

千辰吖_5761

千辰吖_5761

发布时间:2026-05-21 07:25:52

|

176人浏览过

|

来源于php中文网

原创

直接用FileField上传大文件会失败,因Django默认内存读取整个请求体易爆内存或触发RequestDataTooBig错误,且Nginx等反向代理限制请求体大小,根本到不了视图层;FileField设计初衷仅为小文件表单提交,不支持分片上传。

如何在python django中处理大文件断点续传_通过filefield与前端分片上传配合

为什么直接用 FileField 上传大文件会失败

因为 Django 默认通过内存读取整个请求体,遇到几百 MB 以上的文件,request.body 就会撑爆内存或触发 RequestDataTooBig 错误;同时 Nginx/Apache 等反向代理默认限制单次请求体大小(如 Nginx 的 client_max_body_size),根本到不了 Django 视图层。

所以不能依赖 FileField 直接接收完整文件——它设计初衷就是处理“小文件 + 表单提交”场景,不是为分片上传准备的。

  • 别在视图里写 form = MyModelForm(request.POST, request.FILES) 去接大文件
  • models.FileField 本身不提供分片、校验、合并能力,它只是最终存档时的字段封装
  • 真正要做的,是绕过 request.FILES,手动解析 multipart body 中的每个分片,并控制落盘路径和命名逻辑

前端分片后,后端如何接收并暂存分片

核心是:不走 Django 表单机制,用原生 request.body 或 request.META['wsgi.input'] 流式读取,按分片参数(如 chunkIndex、totalChunks、identifier)组织临时目录结构。

推荐使用 django.http.HttpResponse 接收裸 POST,配合 multipart/form-data 解析库(如 python-multipart),但更轻量的做法是直接按 boundary 手撕——不过实际项目中建议用 django.core.files.uploadhandler.TemporaryFileUploadHandler 的子类做定制化接管。

立即学习“Python免费学习笔记(深入)”;

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载
  • 在 settings.py 中设置:FILE_UPLOAD_HANDLERS = ['myapp.upload.MyChunkedUploadHandler']
  • MyChunkedUploadHandler 需重写 receive_data_chunk(self, raw_data, start),根据请求头里的 X-Upload-Id 和 X-Chunk-Index 写入对应临时路径,例如 /tmp/uploads/{upload_id}/part_{index}
  • 避免把所有分片都放进内存:必须用 open(..., 'ab') 追加写,而不是先读再拼

如何判断分片全部到达并触发合并与模型保存

合并动作不能靠“收到最后一个分片就立刻执行”,而应由独立接口(如 POST /api/merge/)显式触发,否则前端异常中断会导致状态不一致。

该接口需校验:totalChunks 个文件是否存在、每个分片大小是否匹配预期、可选地验证 md5 或 sha256(前端应在上传前计算整个文件哈希并传上来)。

  • 合并时用 cat /tmp/uploads/{id}/part_* > /tmp/uploads/{id}/final.bin(Linux)或 Python 的 shutil.copyfileobj() 流式拼接,避免内存加载全量内容
  • 合并成功后,用 ContentFile 包装最终二进制流,再赋值给模型的 FileField:instance.file_field.save('name.ext', ContentFile(merged_bytes), save=False)
  • 务必手动调用 instance.save(),且注意 FileField 的 upload_to 路径不能含用户可控变量,防止路径遍历

断点续传的关键状态怎么持久化和校验

前端需要知道“哪些分片已存在服务器”,这要求后端暴露一个查询接口(如 GET /api/chunk-status/?upload_id=xxx),返回已上传的 chunk_index 列表。这个状态不能只存在内存或临时文件名里——万一服务重启,就丢了。

最简方案是建一张轻量表记录上传会话:

class UploadSession(models.Model):
    upload_id = models.CharField(max_length=64, unique=True)
    total_chunks = models.IntegerField()
    uploaded_chunks = models.JSONField(default=list)  # 存 [0, 1, 3, ...]
    expires_at = models.DateTimeField()
    created_at = models.DateTimeField(auto_now_add=True)
  • 每次收到分片,更新 uploaded_chunks 并去重(避免重复上传同一片)
  • 用 expires_at 控制临时文件生命周期,搭配定时任务清理过期分片目录
  • 不要依赖 os.listdir() 扫描临时目录来判断完成状态——竞态条件高,且无法防伪造

真正的难点不在代码实现,而在分片幂等性、跨服务器部署时的共享存储(NFS/S3)、以及合并失败后的回滚机制——这些往往被 demo 忽略,但线上必须面对。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2503

2023.08.11

前端如何实现即时通讯
前端如何实现即时通讯

实现即时通讯的方法有WebSocket、Long Polling、Server-Sent Events、WebRTC等等。详细介绍:1、WebSocket,它可以在客户端和服务器之间建立持久连接,实现实时的双向通信,前端可以使用 WebSocket API来创建WebSocket连接,并通过发送和接收消息来实现即时通讯;2、Long Polling,是一种模拟实时通信的技术等等。

5403

2023.10.09

前端和后端的区别
前端和后端的区别

前端关注的是用户界面的设计和交互,而后端则注重数据处理和逻辑控制。想了解更多前端后端的相关内容,可以阅读本专题下面的文章。

6450

2024.03.19

php和前端的关联介绍
php和前端的关联介绍

php既可以作为前端语言,也可以作为后端语言。想了解更多php和前端的相关内容,可以阅读本专题下面的文章。

6058

2024.03.22

前端外包工作内容有哪些
前端外包工作内容有哪些

前端外包工作内容包括:1. 网站和应用程序开发;2. 用户界面和交互设计;3. 用户体验优化;4. 设计和视觉开发;5. 跨浏览器兼容性;6. 性能优化;7. 维护和更新;8. 项目管理和沟通。想了解更多前端的相关内容,可以阅读本专题下面的文章。

863

2024.05.22

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1751

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4504

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1729

2023.07.31

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn