讲师中心 微信公众号
AI工具推荐 视频效率加速

fastapi 如何实现大文件分片上传 + 断点续传支持

冬瑶大大_9046

冬瑶大大_9046

发布时间:2026-01-22 19:59:03

|

958人浏览过

|

来源于php中文网

原创

FastAPI可通过HTTP协议特性与后端状态管理实现分片上传和断点续传:1.客户端按固定大小切片并携带file_id、chunk_index等元数据上传;2.FastAPI接口接收分片并用Redis记录进度;3.通过/status接口查询已传分片以支持断点续传;4.所有分片完成后异步合并并校验清理。

fastapi 如何实现大文件分片上传 + 断点续传支持

FastAPI 本身不直接提供分片上传和断点续传能力,但可以通过标准 HTTP 协议特性(如 Content-Range、ETag、自定义请求头) + 后端状态管理(如 Redis 或数据库记录上传进度)来完整实现。核心在于:客户端按固定大小切片、逐片上传、服务端校验并合并,同时记录每片是否已接收。

1. 客户端分片与上传协议设计

前端需将大文件切分为固定大小的 Blob(如 5MB/片),并为每次请求携带以下信息:

  • file_id:全局唯一标识该次上传(如 UUID),用于关联所有分片
  • chunk_index:当前分片序号(从 0 开始)
  • total_chunks:总分片数
  • filename:原始文件名(可选,用于最终合并时命名)
  • Content-Range:标准格式 bytes 0-5242879/10485760,便于服务端定位偏移

推荐使用 fetch 或 axios 发送 PUT 请求(比 POST 更符合幂等性语义),并设置 headers: { 'X-File-ID': 'xxx', 'X-Chunk-Index': '0' }。

2. FastAPI 接口:接收单个分片

用 UploadFile 接收二进制流,结合 Redis 记录上传状态(推荐使用 aioredis):

示例代码(简化版):

from fastapi import FastAPI, UploadFile, File, Header, HTTPException
from redis import asyncio as aioredis
import os
<p>app = FastAPI()
redis = aioredis.from_url("redis://localhost")</p><p>@app.put("/upload/chunk")
async def upload_chunk(
file: UploadFile = File(...),
x_file_id: str = Header(...),
x_chunk_index: int = Header(...),
x_total_chunks: int = Header(...),
content_range: str = Header(...)
):</p><h1>解析 Content-Range 获取 offset 和 total_size(可选)</h1><pre class="brush:php;toolbar:false;">if not content_range.startswith("bytes "):
    raise HTTPException(400, "Missing or invalid Content-Range")

# 存储分片到临时目录(如 /tmp/uploads/{file_id}/{index})
chunk_dir = f"/tmp/uploads/{x_file_id}"
os.makedirs(chunk_dir, exist_ok=True)
chunk_path = os.path.join(chunk_dir, str(x_chunk_index))

with open(chunk_path, "wb") as f:
    while chunk := await file.read(8192):
        f.write(chunk)

# 记录该分片已接收(Redis Set 或 Hash)
await redis.sadd(f"upload:{x_file_id}:chunks", str(x_chunk_index))
await redis.hset(f"upload:{x_file_id}:meta", mapping={
    "filename": file.filename,
    "total_chunks": str(x_total_chunks),
    "size": str(file.size)
})

return {"status": "ok", "chunk": x_chunk_index}

PigX UI 前端开发
PigX UI 前端开发

PigX UI Pro 前端开发指南 - Vue 3 + TypeScript + Element Plus。当用户提到 PigX UI、PigX 前端、lgb-mgui 项目、Vue 3 企业级后台开发、Element Plus 后台开发时使用此技能。

下载

3. 断点续传支持:查询已上传分片

客户端在开始上传前,先调用接口获取已成功上传的分片列表,跳过重传:

@app.get("/upload/status")
async def get_upload_status(x_file_id: str = Header(...)):
    # 查询 Redis 中已接收的分片索引
    chunks = await redis.smembers(f"upload:{x_file_id}:chunks")
    meta = await redis.hgetall(f"upload:{x_file_id}:meta")
<pre class="brush:php;toolbar:false;">return {
    "uploaded_chunks": sorted([int(c) for c in chunks]),
    "total_chunks": int(meta.get(b"total_chunks", b"0")),
    "filename": meta.get(b"filename", b"").decode()
}

客户端根据返回的 uploaded_chunks 列表,只上传缺失的索引分片即可实现断点续传。

4. 合并分片 & 清理临时文件

当所有分片接收完成(len(uploaded_chunks) == total_chunks),触发合并逻辑:

  • 按 chunk_index 顺序读取所有临时文件,拼接写入目标路径
  • 校验最终文件 MD5(可选,防止传输损坏)
  • 删除 Redis 中的上传元数据和临时分片目录
  • 返回最终文件 URL 或 ID

合并操作建议异步执行(如用 BackgroundTasks 或 Celery),避免阻塞主请求。注意加锁(如 Redis Lock)防止并发合并同一文件。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

99

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

514

2026.02.06

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

476

2026.05.09

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

399

2026.06.16

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3048

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

4289

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3689

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

386

2026.01.19

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

60

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn