讲师中心 微信公众号
AI工具推荐 视频效率加速

StreamingResponse 实现异步流式代理的正确方式

夏敏酱_2692

夏敏酱_2692

发布时间:2026-09-14 13:10:05

|

1010人浏览过

|

来源于php中文网

原创

StreamingResponse 实现异步流式代理的正确方式

在 FastAPI 中使用 StreamingResponse 代理下游 HTTP 流时,若误用同步请求库(如 requests),会导致事件循环阻塞、流式响应失效。必须改用异步 HTTP 客户端(如 httpx.AsyncClient)并配合 async for 迭代响应体,才能实现真正的逐块转发。

在 fastapi 中使用 `streamingresponse` 代理下游 http 流时,若误用同步请求库(如 `requests`),会导致事件循环阻塞、流式响应失效。必须改用异步 http 客户端(如 `httpx.asyncclient`)并配合 `async for` 迭代响应体,才能实现真正的逐块转发。

FastAPI 基于异步运行时(如 Uvicorn),其流式响应能力高度依赖协程的非阻塞性。当你在 async def 函数中调用同步库 requests.post(..., stream=True),该调用会完全阻塞当前事件循环线程,直到整个响应体读取完毕——此时 yield 实际上是在同步上下文中批量执行,而非按需异步推送,因此前端收到的是“一次性完整响应”,而非实时流。

✅ 正确做法是全程保持异步:使用 httpx.AsyncClient 发起异步流式请求,并通过 response.aiter_bytes() 或 response.aiter_lines() 异步迭代响应数据块。以下为可直接运行的完整示例:

Upload audio to AIOZ Stream
Upload audio to AIOZ Stream

快速上传音频至 AIOZ Stream API。支持默认或自定义编码配置创建音频对象,上传文件并完成处理后返回音频链接。

下载
import httpx
from fastapi import FastAPI, Request
from fastapi.responses import StreamingResponse

app = FastAPI()

# 模拟上游流式接口(返回 NDJSON)
@app.post("/stream-source")
async def stream_source():
    async def result_generator():
        for i, suffix in enumerate(["a", "ab", "abc", "abcd"]):
            yield ({"Field": suffix})  # 注意:此处返回 dict,StreamingResponse 会自动序列化
            await asyncio.sleep(0.5)  # 模拟延迟生成

    async def ndjson_stream():
        async for item in result_generator():
            yield json.dumps(item, ensure_ascii=False) + "\n"

    return StreamingResponse(ndjson_stream(), media_type="application/x-ndjson")

# 流式代理接口:真正异步转发
@app.post("/test")
async def test_api(request: Request):
    async def stream_results():
        async with httpx.AsyncClient() as client:
            # 注意:URL 需指向实际运行的上游服务(如本例中 /stream-source)
            async with client.stream(
                "POST", 
                "http://127.0.0.1:8000/stream-source", 
                json={}, 
                timeout=30.0
            ) as response:
                # 逐块异步读取,避免缓冲累积
                async for chunk in response.aiter_bytes(chunk_size=1024):
                    yield chunk

    return StreamingResponse(
        stream_results(), 
        media_type="application/x-ndjson",
        headers={"X-Content-Type-Options": "nosniff"}  # 可选安全头
    )

⚠️ 关键注意事项:

  • 禁止混用同步/异步 I/O:requests 是同步库,任何在其内部的 for chunk in r.iter_content() 都会阻塞事件循环,即使外层函数声明为 async。
  • 显式管理异步生命周期:务必使用 async with 确保 AsyncClient 和响应对象被正确关闭,防止连接泄漏。
  • 合理设置 chunk_size:过小(如 1)增加调度开销;过大(如 None)可能退化为全量读取。推荐 1024–8192 字节区间。
  • 错误传播与超时:建议为 client.stream() 显式指定 timeout,并在外层捕获 httpx.HTTPStatusError 或 httpx.RequestError,避免未处理异常中断流。
  • NDJSON 兼容性:确保上下游 media_type 统一为 application/x-ndjson,且每行严格为一个合法 JSON 对象 + \n 换行符。

通过以上实现,客户端发起 /test 请求后,将实时接收到与上游 /stream-source 完全一致的逐行流式响应,真正实现低延迟、高吞吐的流式代理。

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

119

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

534

2026.02.06

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

516

2026.05.09

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

419

2026.06.16

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

80

2026.09.30

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

80

2026.09.30

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

60

2026.09.30

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

60

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CentOS 官方文档
CentOS 官方文档

共0课时 | 0人学习

极客学院Java8新特性视频教程
极客学院Java8新特性视频教程

共17课时 | 4.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn