os.sendfile()仅限Linux和部分BSD可用,macOS和Windows不支持;要求源fd为可lseek()的只读文件,目标fd为socket或可写文件;需循环调用并检查返回值。

sendfile在Python里到底能不能用
Python标准库不直接暴露sendfile系统调用,os.sendfile()是它的封装,但仅限Linux和部分BSD(macOS不支持),且要求源文件描述符可lseek()(普通文件可以,socket或pipe不行),目标fd必须是socket或另一个普通文件。Windows完全不可用——别试os.sendfile()在win上,会直接抛OSError: [Errno 38] Function not implemented。
os.sendfile()的正确调用姿势
核心限制:源fd必须是打开的只读文件(open(..., 'rb')),目标fd要是已连接的socket或可写文件;不能传path字符串,必须传fd。常见错误是传错fd顺序、没检查返回值、忽略偏移参数。
-
os.sendfile(out_fd, in_fd, offset, count)中,offset是起始位置(字节),count是最大传输字节数;若offset为None,则从当前文件指针位置开始,且会自动更新指针 - 如果
in_fd是普通文件,offset设为0最安全;设为None时需确保文件未被其他线程/进程修改,否则可能读到脏数据 - 务必检查返回值:
os.sendfile()返回实际发送字节数,可能小于count(如socket缓冲区满),需要循环调用
import os
import socket
<p>with open('bigfile.bin', 'rb') as f:
in_fd = f.fileno()
with socket.socket() as sock:
sock.connect(('127.0.0.1', 8080))
out_fd = sock.fileno()
offset = 0
remaining = os.path.getsize('bigfile.bin')
while remaining > 0:
sent = os.sendfile(out_fd, in_fd, offset, remaining)
if sent == 0: # 对端关闭
break
offset += sent
remaining -= sent</p>为什么sendfile有时比read+send还慢
零拷贝不是银弹。当文件小(os.sendfile()可能因内核路径开销反而不如用户态read()+send()。另外,如果源文件在ext4上启用了DAX或位于tmpfs,sendfile可能退化为普通拷贝。
- 用
strace -e trace=sendfile确认是否真调用了系统调用,而非回退到用户态实现 - 目标socket需启用
TCP_NODELAY,否则小块数据会被Nagle算法攒批,掩盖零拷贝优势 - 源文件最好用
os.posix_fadvise(fd, 0, 0, os.POSIX_FADV_DONTNEED)提示内核不用缓存——尤其在反复传输同一文件时
替代方案:什么时候该放弃sendfile
跨平台需求、源是加密流/压缩包、需要传输前加HTTP头、目标是TLS socket——这些场景os.sendfile()直接失效。此时用socket.sendfile()(Python 3.7+)更稳妥,它内部自动降级并处理TLS。
立即学习“Python免费学习笔记(深入)”;
-
sock.sendfile(file_obj, offset=..., count=...)接受io.BufferedIOBase对象(比如open()返回的file),自动管理fd和偏移,比裸os.sendfile()易用 - 注意
file_obj必须支持fileno()和seek(),io.BytesIO不行,tempfile.SpooledTemporaryFile在溢出到磁盘后才可以 - 若用aiohttp或FastAPI,它们的
FileResponse已内置sendfile逻辑,优先复用框架能力而非自己调
真正难的不是调用接口,而是判断当前文件系统、socket状态、内核版本是否让零拷贝生效——/proc/sys/net/core/wmem_max太小、源文件在FUSE挂载点、目标socket被SO_RCVBUF限制,都可能导致无声降级。


















