可直接用zcat/bzcat/xzcat配合curl或wget管道实现零落盘解压:如wget -qO- URL | zcat | awk... 或 curl -s URL | bunzip2 -d | sort | uniq -c,全程数据在内存中流转,不生成临时文件。

当你从curl或wget拿到一个.gz或.bz2格式的网络流文件,又不想在磁盘上生成临时解压文件时,必须绕过“下载→保存→解压”三步流程,直接让压缩数据在内存中解压并传递给后续命令处理。
用zcat/bzcat/xzcat配合管道实现零落盘解压
zcat、bzcat、xzcat是专为流式解压设计的工具,它们不写入磁盘,只把解压后的内容输出到stdout,天然适配管道。
第一步:确认远程文件类型。执行curl -I https://example.com/log.gz | grep 'Content-Encoding',若返回gzip,说明服务端已压缩;但更可靠的是看URL后缀或用file -i
第二步:对.gz文件,直接curl -s https://example.com/data.gz | zcat | head -20。zcat会自动识别gzip流,无需额外参数,失败时会报错“not in gzip format”,说明不是标准gzip流或已损坏。
第三步:对.bz2文件,替换为bzcat:curl -s https://example.com/archive.bz2 | bzcat | tail -n 10。注意bzcat不支持自动检测非.bz2内容,输错格式会直接报错退出,不会输出乱码。
第四步:对.xz文件,用xzcat:curl -s https://example.com/payload.xz | xzcat | grep "ERROR"。xzcat内存占用较高,大文件流式处理时可能触发OOM killer,【务必确保系统剩余内存 ≥ 压缩包解压后预估大小的1.5倍】。
用gunzip/bunzip2/xz -d配合stdin输入
这些命令本质是解压器的通用接口,-d表示解压,不加-f时默认从stdin读取,行为与对应*cat命令一致,但可附加更多控制选项。
方法一:curl -s https://example.com/app.log.gz | gunzip -d | less。less能分页,适合人工排查,按q退出即终止整个管道,gunzip进程随之结束,无残留。
方法二:curl -s https://example.com/config.tar.gz | gunzip -d | tar -xO --wildcards '*.json' > config.json。tar -xO将指定匹配文件内容输出到stdout,再重定向保存,全程只有config.json落盘,原始压缩流和解压中间态均未写磁盘。
方法三:curl -s https://example.com/list.txt.bz2 | bunzip2 -d | sort | uniq -c | sort -nr。这组命令链做去重统计,所有中间结果都在pipe buffer中流转,bunzip2 -d不会创建任何临时文件。
绕过curl,用wget直接喂给解压器
wget -qO- URL等效于curl -s URL,-q关闭进度条,-O-表示输出到stdout。这个写法在某些老旧系统(如CentOS 6)上比curl更稳定。
对gzip日志流:wget -qO- https://logs.example.com/20261119.gz | zcat | awk '$9 ~ /^5/ {print $1,$4,$9,$7}'。awk在此过滤5xx错误行,字段位置依赖日志格式,需按实际调整。
对bzip2压缩的SQL导出:wget -qO- https://db.example.com/dump.sql.bz2 | bzcat | mysql -u root -p dbname。mysql客户端接受stdin输入,执行导入,【注意:密码不能明文写在命令行,应使用配置文件或mysql_config_editor预设】。


















