流式传输通过分块处理避免内存溢出，适用于大文件读写、网络下载及Web服务。使用yield按块读取文件，结合requests.stream=True实现高效下载，Flask中用生成器响应文件请求，临时处理推荐tempfile安全操作，核心是保持边读边处理，合理设置缓冲区大小以平衡性能与资源消耗。
在处理大文件或网络传输时，流式传输能有效降低内存占用，提升程序稳定性。Python 提供了多种方式实现文件的流式读取和写入，关键在于避免一次性加载整个文件到内存中。
使用分块读取处理大文件
对大文件进行流式读取时，推荐按固定大小的块逐步读取，这样可以控制内存使用量。
示例如下：
def read_file_in_chunks(file_path, chunk_size=8192):
with open(file_path, 'rb') as f:
while True:
chunk = f.read(chunk_size)
if not chunk:
break
yield chunk
这个函数每次返回一个数据块，适合用于上传、哈希计算或转发场景。chunk_size 通常设为 4KB 到 64KB 之间，根据实际 I/O 性能调整。
立即学习“Python免费学习笔记（深入）”；
结合 HTTP 实现文件流式下载
使用 requests 库可以从网络流式下载大文件，避免内存溢出。
操作方法：
import requests <p>def download_file_stream(url, save_path): with requests.get(url, stream=True) as r: r.raise_for_status() with open(save_path, 'wb') as f: for chunk in r.iter_content(chunk_size=8192): f.write(chunk)</p>
设置 stream=True 后，响应内容不会立即下载，而是通过 iter_content 按需获取数据块，适合处理视频、镜像等大文件下载。
服务端实现文件流式响应（Flask 示例）
在 Web 服务中，可以通过生成器将本地文件分块返回给客户端，减少内存压力。
from flask import Flask, Response
import os
<p>app = Flask(<strong>name</strong>)</p><p>def generate_file(filename):
with open(filename, 'rb') as f:
while True:
chunk = f.read(8192)
if not chunk:
break
yield chunk</p><p>@app.route('/download')
def download():
file_path = 'large_file.zip'
return Response(
generate_file(file_path),
mimetype='application/octet-stream',
headers={'Content-Disposition': 'attachment; filename=large_file.zip'}
)</p>Response 接收生成器后会逐步发送数据，适用于提供文件下载接口。
使用 tempfile 进行安全的中间流处理
若需对流数据做临时处理（如解压、转码），建议使用 tempfile 避免手动管理路径和权限问题。
示例：
import tempfile import shutil <p>def process_upload_stream(stream): with tempfile.NamedTemporaryFile(delete=False) as tmpfile: shutil.copyfileobj(stream, tmpfile, length=64*1024) temp_path = tmpfile.name</p><pre class='brush:python;toolbar:false;'># 后续处理 temp_path 中的文件 return temp_path
copyfileobj 支持任意类文件对象之间的高效复制，length 参数控制内部缓冲区大小。
基本上就这些。关键是保持“边读边处理”的思路，避免 load all into memory 的模式。合理设置缓冲区大小，兼顾性能与资源消耗。
