讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux 中怎么使用 gzip 压缩传输中的大文件流

浅伟吖_2727

浅伟吖_2727

发布时间:2026-08-22 08:03:35

|

938人浏览过

|

来源于php中文网

原创

<p>gzip通过管道实时压缩标准输入流,实现不落地、边产边压、即传即压;支持- c输出到stdout,配合tar、ssh、curl等完成流式传输与远程解压,并可调压缩等级平衡速度与率。</p>

linux 中怎么使用 gzip 压缩传输中的大文件流

gzip 本身不直接处理“网络传输中的流”,但它非常擅长配合管道(pipe)和重定向,把正在生成或接收的数据流实时压缩,避免先写入磁盘再压缩,节省空间、提升效率。关键在于:不落地、边产边压、即传即压

直接压缩标准输入流(最常用场景)

当你有命令输出(比如日志、数据库导出、tar 打包结果)需要立刻压缩并传输时,用 -c(或 --stdout)让 gzip 把压缩结果输出到 stdout,然后通过管道交给后续命令(如 sshnccurl):

# 示例1:压缩本地目录并直接通过 SSH 传到远程服务器
tar -cf - /var/log | gzip -c | ssh user@remote "cat > backup.tar.gz"

# 示例2:MySQL 导出 + 实时压缩 + 上传到远程 HTTP 接口(需服务端支持 raw body)
mysqldump mydb | gzip -c | curl -X POST --data-binary @- https://api.example.com/upload

# 示例3:实时抓取网络流量,压缩后存为远程文件(不落地)
tcpdump -i eth0 -w - | gzip -c | ssh user@backup "dd of=/backup/capture_$(date +%s).pcap.gz"

✅ 关键点:gzip -c 不删除源(因为没文件名),只压缩 stdin → stdout;tar -cf - 表示打包到 stdout;整个链条全程内存流转,零临时文件。

Linux Journey
Linux Journey

当用户想学习Linux基础、命令行、文件系统等时,在LabEx查找并推荐免费的Linux Journey课程。

下载

压缩并解压远端流(双向流式处理)

如果对方也支持 gzip 流,可实现端到端压缩传输(节省带宽),且解压也在远端完成:

# 本地打包 → 压缩 → 发送 → 远端解压并提取(不保留 .gz 文件)
tar -cf - /home/app/config | gzip -c | ssh user@remote "gunzip -c | tar -xf - -C /tmp/deploy"

# 或更简洁(gunzip -c 等价于 gzip -dc)
tar -cf - /home/app/config | gzip -c | ssh user@remote "gzip -dc | tar -xf - -C /tmp/deploy"

控制压缩强度与性能平衡

流式场景下,压缩速度影响吞吐量。默认等级是 -6,但可根据网络/IO瓶颈调整:

  • -1--fast:CPU 负载低,压缩快,适合高吞吐、弱 CPU(如嵌入式或千兆以上链路)
  • -9--best:压缩率最高,适合慢速链路(如 WAN、卫星链路)或存储受限环境
  • -3 ~ -5:推荐折中选择,兼顾速度与压缩率(尤其对文本类日志、SQL、JSON 效果明显)
# 用 -3 压缩日志流,降低 CPU 占用同时保持 60%+ 压缩率
journalctl -u nginx | gzip -c -3 | nc backup-server 9000

注意事项与避坑提示

  • 不要对已压缩数据再 gzip:图片、视频、PDF、ZIP 等本身已是高压缩格式,再 gzip 几乎不减小体积,反而增加 CPU 和延迟。
  • 时间戳与文件名不重要?用 -n:流式压缩无原始文件名,加 -n 可省去保存元数据的开销(gzip -cn)。
  • 确保远端有 gzip/gunzip:大多数 Linux 发行版默认自带;若无,提前安装(apt install gzipyum install gzip)。
  • 大流量下加 pv 监控进度(可选)
    tar -cf - /data | pv -b | gzip -c | ssh ... 

不复杂但容易忽略。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

3590

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3113

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2173

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

5150

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

4842

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2913

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2405

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2639

2023.07.25

Vibeknow在线使用入口合集
Vibeknow在线使用入口合集

本专题汇总了Vibeknow在线创作视频的官方入口及网页版使用教程,涵盖PPT、PDF、Word等文档一键转讲解视频的核心操作,并整理了免费版水印规则与手机端浏览器访问指南,助你快速将知识内容视频化。

0

2026.09.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

CLion 远程开发实战
CLion 远程开发实战

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn