讲师中心 微信公众号
AI工具推荐 视频效率加速

Shell中处理二进制数据:编写二进制文件解析脚本

陌晨酱_3146

陌晨酱_3146

发布时间:2026-07-03 11:55:38

|

918人浏览过

|

来源于php中文网

原创

Shell通过dd、od、xxd等工具可完成轻量级二进制解析,核心是将二进制转为十六进制或字节序列后用awk/sed处理;支持按偏移提取、格式识别、结构化解析及二进制写入,但需注意编码和系统差异。

shell中处理二进制数据:编写二进制文件解析脚本

Shell本身不擅长直接处理二进制数据,但通过组合dd、od、xxd、printf和hexdump等工具,可以完成轻量级的二进制文件解析任务。关键在于把二进制内容转为可处理的文本表示(如十六进制或字节序列),再用awk、sed或纯bash做逻辑提取。

提取指定偏移处的字节或字段

用dd配合od或xxd精准读取某段原始数据:

  • dd if=file.bin bs=1 skip=12 count=4 2>/dev/null | od -An -tu1 —— 跳过前12字节,读4字节,输出为无符号十进制整数(适合解析长度、标志位)
  • dd if=file.bin bs=1 skip=20 count=8 2>/dev/null | xxd -p -c8 —— 读8字节,以紧凑十六进制字符串输出(便于后续grep或case匹配)
  • 注意bs=1确保按字节寻址;skip单位是bs块大小,不是bit

解析固定格式头部(如ELF、PNG、自定义协议)

多数二进制格式头部有确定结构(例如PNG魔数为89 50 4E 47),可用十六进制比对快速识别:

  • 检查PNG文件:head -c4 file.bin | xxd -p | grep -q "^89504e47$" && echo "valid PNG"
  • 解析4字节小端整数(如文件长度):dd if=file.bin bs=1 skip=4 count=4 2>/dev/null | xxd -p -c4 | sed 's/../& /g' | awk '{print strtonum("0x"$4$3$2$1)}'
  • 更可靠的做法:用od -An -tx1 -N4 file.bin | tr -d ' \n'先获取原始hex串,再用bash内置printf "%d" 0x...转换

批量提取结构化字段(如日志/传感器二进制记录)

若文件由重复的N字节记录组成(如每16字节含2字节ID + 4字节时间戳 + 10字节payload),可用循环+dd分片处理:

  • 计算总记录数:records=$(( $(stat -c%s file.bin) / 16 ))(Linux)
  • 逐条解析:for i in $(seq 0 $((records-1))); do offset=$((i*16)); dd if=file.bin bs=1 skip=$offset count=2 2>/dev/null | od -An -tu2; done
  • 避免频繁调用dd影响性能:用xxd -c16 -ps file.bin一次性转为每行16字节hex,再用awk按列切分

写入二进制数据(构造测试文件或补丁)

printf是shell中构造二进制内容最直接的方式,支持十六进制和转义序列:

  • 写入3字节:printf '\x48\x65\x6c' > hello.bin(对应ASCII "Hel")
  • 写入2字节小端整数1000:printf '\x28\x03' > data.bin(因为1000 = 0x0328,小端即0x28 0x03)
  • 拼接多个部分:{ printf '\x89\x50\x4E\x47'; cat payload.bin; } > out.png

不复杂但容易忽略:Shell脚本处理二进制时务必关闭字符编码干扰(如LC_ALL=C),避免grep或sed误判非打印字符;同时注意不同系统dd语法差异(macOS需用bs=1而非ibs=1 obs=1)。真正复杂的解析建议交给python -c临时脚本,Shell更适合胶水层调度和简单字段提取。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

3950

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3373

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2533

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6130

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

5782

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3393

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2885

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3099

2023.07.25

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
GCC 安装依赖说明
GCC 安装依赖说明

共0课时 | 0人学习

尚观shell视频教程
尚观shell视频教程

共8课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn