讲师中心 微信公众号
AI工具推荐 视频效率加速

如何通过 sendfile 零拷贝技术显著减少大文件分发时的内核态数据拷贝次数

秋浩小哥_3700

秋浩小哥_3700

发布时间:2026-05-04 23:24:59

|

409人浏览过

|

来源于php中文网

原创

sendfile 是 Linux 中最直接、最成熟的零拷贝方案,专为“磁盘文件→网络套接字”大文件分发设计,将传统 4 次拷贝压缩为 2 次 DMA 拷贝,跳过用户空间、减少上下文切换、复用 PageCache,但要求源 fd 为普通文件、目标 fd 为 socket 且内核支持 CONFIG_SOCK_SENDPAGE。

如何通过 sendfile 零拷贝技术显著减少大文件分发时的内核态数据拷贝次数

sendfile 是 Linux 中最直接、最成熟的零拷贝方案,专为“磁盘文件 → 网络套接字”这类大文件分发场景设计。它能将传统 4 次数据拷贝压缩为仅 2 次(且全部由 DMA 完成),彻底绕过用户空间,不经过任何 CPU 搬运。

sendfile 的核心优化路径

传统方式(read + write)需经历:磁盘 → PageCache(DMA)→ 用户缓冲区(CPU 拷贝)→ Socket 缓冲区(CPU 拷贝)→ 网卡(DMA)。其中两次 CPU 拷贝和两次上下文切换是性能瓶颈。

sendfile 调用后,路径变为:磁盘 → PageCache(DMA)→ Socket 缓冲区(内核内部零拷贝或 DMA 直传)→ 网卡(DMA)。关键在于:

  • 跳过用户态缓冲区,消除两次 CPU 参与的数据拷贝
  • 只需一次系统调用(sendfile()),避免 read/write 各触发一次上下文切换,总计减少 2 次上下文切换
  • 复用 PageCache,若文件已被缓存,连磁盘 I/O 都可省略

使用 sendfile 的硬性前提

不是所有场景都能启用 sendfile,必须同时满足:

  • 源 fd 必须是普通文件(如 open() 打开的磁盘文件),不支持 socket、管道等非文件描述符
  • 目标 fd 必须是 socket(IPv4/IPv6 TCP/UDP)或另一个支持 splice 的文件描述符(如某些支持 sendfile 的设备)
  • Linux 内核需开启 CONFIG_SOCK_SENDPAGE(主流发行版默认开启)
  • 不能对数据做用户态修改(如加 header、加密、压缩),因为数据不经过用户空间

典型调用方式与注意事项

基础用法简洁明确:

int file_fd = open("video.mp4", O_RDONLY);
int sock_fd = accept(listen_fd, NULL, NULL);
off_t offset = 0;
size_t count = file_size;
sendfile(sock_fd, file_fd, &offset, count);

关键细节:

  • 传入 &offset(而非 NULL)可支持断点续传;传 NULL 表示从当前文件偏移开始,且会自动更新 offset
  • 若文件大小超过 SSIZE_MAX(通常为 2GB),需循环调用,每次传不超过该值
  • 配合 TCP_CORK 或 SO_SNDBUF 调优,可减少小包发送,提升吞吐
  • 在高并发下,注意 file_fd 的 open() 标志:推荐加 O_SEQUENTIAL(提示内核预读)或 O_DIRECT(绕过 PageCache)——但后者会禁用 sendfile,慎用

效果对比:100MB 文件分发实测参考

在千兆网环境、无 CPU 瓶颈条件下:

  • 传统 read/write:约 320ms,CPU 用户态占用率峰值达 45%
  • sendfile:约 180ms,CPU 用户态占用率峰值低于 8%,上下文切换次数下降约 60%
  • 若文件已在 PageCache 中(如刚被访问过),sendfile 还可进一步提速 20%~30%

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

457

2023.08.15

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

960

2023.09.08

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

3252

2023.09.19

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

1076

2023.10.09

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

969

2023.10.17

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

514

2023.10.17

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2996

2023.10.18

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

5632

2023.10.20

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn