讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SoundView
SoundView

字幕擦除翻译、配音口型同步

Starlette如何上传CSV文件并解析

千宇吖_6973

千宇吖_6973

发布时间:2026-11-19 11:44:03

|

227人浏览过

|

来源于php中文网

原创

starlette 上传 csv 文件并解析的核心做法是接收 uploadfile 对象,读取其内容到内存或临时文件,然后使用 python 标准库的 csv 模块进行解析。具体实现时,在路由处理函数中获取请求中的文件字段,调用 .read() 方法获取字节流,解码为字符串后传入 csv.reader 或 io.stringio 包装器。这样做可以直接获得行迭代器,便于后续转换为字典列表或直接存入数据库。需要注意的是,如果文件极大,应使用 .iter_read() 分块读取以避免内存溢出,且必须指定正确的字符编码(通常为 utf-8)以防乱码。

Starlette如何上传CSV文件并解析

如何定义接收 CSV 上传的路由和处理函数

在 Starlette 中,定义接收文件上传的路由需要使用 Request 对象来访问表单数据。通过 request.form() 可以获取包含文件的表单字段,返回的是 FormData 对象。接着,通过键名获取具体的 UploadFile 实例。这个实例提供了 filename、content_type 以及读取内容的多种方法。开发者需要确保 HTML 表单的 enctype 属性设置为 multipart/form-data,否则文件无法正确传输。处理函数的返回值通常是一个 JSON 响应,包含解析后的数据或状态码。

Starlette如何上传CSV文件并解析

from starlette.applications import Starlette
from starlette.responses import JSONResponse
from starlette.routing import Route
from starlette.requests import Request
import csv
import io

async def upload_csv(request: Request):
    try:
        # 获取表单中的文件字段
        form = await request.form()
        file = form.get("file")
        
        if not file or file.filename == "":
            return JSONResponse({"status": "error", "message": "No file selected"}, status_code=400)
        
        # 读取文件内容
        content = await file.read()
        
        # 解码并解析 CSV
        text_content = content.decode("utf-8")
        reader = csv.reader(io.StringIO(text_content))
        rows = list(reader)
        
        if not rows:
            return JSONResponse({"status": "empty"}, status_code=200)
            
        # 假设第一行是表头
        headers = rows[0]
        data = []
        for row in rows[1:]:
            if len(row) == len(headers):
                data.append(dict(zip(headers, row)))
            else:
                # 处理列数不匹配的行
                pass
                
        return JSONResponse({"status": "success", "rows": len(data), "data": data[:5]})
    except Exception as e:
        return JSONResponse({"status": "error", "message": str(e)}, status_code=500)

routes = [
    Route("/upload", endpoint=upload_csv, methods=["POST"])
]

app = Starlette(routes=routes)

上述代码展示了完整的处理流程。首先检查文件是否存在,然后一次性读取全部内容。对于小文件,这是最高效的方式。解析过程中,使用 csv.reader 处理原始文本,然后通过 zip 函数将表头和每一行数据组合成字典。最后返回前 5 条数据作为示例响应。如果发生异常,如编码错误或格式错误,会捕获并返回错误信息。

Csv Brain
Csv Brain

加载CSV文件,使用自然语言(英文)提问。通过Anthropic、OpenAI或本地Ollama实现AI驱动的自然语言查询,无需SQL。

下载

如何处理大文件上传以避免内存溢出

当上传的 CSV 文件非常大时,直接使用 .read() 会将整个文件加载到内存中,可能导致 MemoryError。Starlette 的 UploadFile 对象支持异步迭代和分块读取。最佳实践是使用 .iter_read(chunk_size) 方法,每次只读取固定大小的字节块。这些块需要累积在一个缓冲区中,或者逐行处理。由于 csv 模块通常期望字符串输入,我们需要将字节块解码为字符串,并小心处理跨块的换行符问题。一种更稳健的方法是将文件保存到临时位置,然后使用标准的 open 函数以文本模式打开并逐行读取,这样操作系统和文件系统会协助管理内存。

import tempfile
import os
import csv

async def upload_large_csv(request: Request):
    form = await request.form()
    file = form.get("file")
    
    if not file:
        return JSONResponse({"status": "error"}, status_code=400)
        
    # 创建临时文件
    with tempfile.NamedTemporaryFile(delete=False, suffix=".csv") as tmp_file:
        tmp_path = tmp_file.name
        # 分块写入临时文件
        async for chunk in file.iter_chunks():
            tmp_file.write(chunk)
            
    try:
        # 从临时文件读取并解析
        with open(tmp_path, "r", encoding="utf-8") as f:
            reader = csv.DictReader(f)
            # 这里可以逐行处理,避免加载所有数据到内存
            first_row = next(reader, None)
            
        return JSONResponse({"status": "success", "has_data": first_row is not None})
    finally:
        # 清理临时文件
        os.unlink(tmp_path)

这段代码演示了基于临时文件的策略。首先,通过 iter_chunks() 异步读取上传文件的字节块,并写入一个临时文件。这确保了即使文件很大,内存占用也保持在较低水平。写入完成后,使用标准的 open 函数打开该临时文件,并使用 csv.DictReader 进行解析。DictReader 会自动将第一行作为键,后续行作为值,生成字典。这种方式不仅节省内存,而且代码简洁。最后,务必在 finally 块中删除临时文件,防止磁盘空间泄漏。这种方法适用于任何大小的 CSV 文件,是生产环境中的推荐做法。

如果 CSV 文件中包含非 UTF-8 编码的数据会怎样

如果 CSV 文件包含非 UTF-8 编码的数据(例如 GBK 或 Latin-1),直接调用 .decode("utf-8") 会抛出 UnicodeDecodeError 异常,导致解析失败。Starlette 本身不自动检测编码,因此开发者必须预先知道或使用启发式方法猜测编码。常见的解决方案是尝试多种编码进行解码,或者使用第三方库如 chardet 来检测编码。一旦检测到正确的编码,再将其传递给 csv 解析器。如果不处理,程序将崩溃或返回错误响应。此外,某些 CSV 文件可能带有 BOM(Byte Order Mark),这也需要在解码后去除,否则表头名称会包含不可见字符,导致键名不匹配。

import chardet
import csv
import io

async def upload_mixed_encoding_csv(request: Request):
    form = await request.form()
    file = form.get("file")
    
    if not file:
        return JSONResponse({"status": "error"}, status_code=400)
        
    content = await file.read()
    
    # 检测编码
    detected = chardet.detect(content)
    encoding = detected["encoding"] or "utf-8"
    
    # 处理 BOM
    if content.startswith(b'\xef\xbb\xbf'):
        content = content[3:]
        # 重新检测,因为 BOM 可能影响检测结果
        detected = chardet.detect(content)
        encoding = detected["encoding"] or "utf-8"
        
    try:
        text_content = content.decode(encoding)
        reader = csv.DictReader(io.StringIO(text_content))
        rows = list(reader)
        return JSONResponse({"status": "success", "encoding": encoding, "rows": len(rows)})
    except UnicodeDecodeError:
        return JSONResponse({"status": "error", "message": "Failed to decode with detected encoding"}, status_code=400)

此代码片段展示了如何处理编码问题。首先,使用 chardet 库对原始字节内容进行编码检测。虽然 chardet 不是 100% 准确,但在大多数情况下能提供可靠的结果。检测到编码后,尝试使用该编码解码字节流。同时,代码还检查并移除了 UTF-8 BOM,这是一种常见的陷阱。如果解码失败,则返回错误。在实际应用中,还可以设置一个编码列表,按优先级尝试解码,直到成功为止。这种灵活性使得应用能够兼容不同来源的 CSV 文件,提高鲁棒性。

热门AI工具

更多
笔灵降AI

一款AI论文写作工具,主要用于论文降AI神器,适配知网及维普!一键降至安全线,100%保留原文格式;无口语化问题,文风更学术,降后字数控制最佳!,适合需要提升相关任务效率的用户。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1951

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5564

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1889

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

33997

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3987

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3987

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1283

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

636

2023.08.10

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn