Linux去除文件中不可见乱码字符的核心是识别并过滤非法字节，而非修复乱码；需区分控制字符、无效UTF-8序列、BOM及零宽字符等，推荐用iconv -c -f UTF-8 -t UTF-8清理，或结合tr/sed按字节范围安全过滤，处理中文文件时须先验证编码有效性，避免误删合法汉字。
Linux 去除文件中不可见乱码字符，核心是识别并过滤掉非打印、非ASCII或非法编码的字节，而不是“修复乱码”——因为这些字符往往本身就是无效字节（如截断的 UTF-8 序列、Windows 换行符残留、控制字符、BOM 头等），无法被正确解码，只能清理。
先确认哪些字符属于“不可见乱码”
不是所有非字母数字字符都要删。真正要处理的是：
• 控制字符（如 \x00–\x08, \x0b–\x0c, \x0e–\x1f）
• 无效 UTF-8 字节序列（如孤立的 0xC0–0xFF，或不匹配的多字节开头）
• 零宽空格、零宽连接符、BOM（\xEF\xBB\xBF）等 Unicode 格式字符
• 混合编码残留（如 GBK 中未完整解析的双字节，显示为 或乱码符号）
可用以下命令快速探测：
-
cat -v filename：把不可见字符转义显示（如 ^M 表示 CR，^@ 表示 NULL） -
hexdump -C filename | head -20：查看原始十六进制，定位异常字节（如连续 0xFF、0x00、0xC0 0x80 等） -
grep -n "[^[:print:][:space:]]" filename：找出含非打印非空白字符的行（注意：此命令在 UTF-8 下可能漏判部分 Unicode 控制符）
安全过滤常见不可见字符（推荐方案）
对纯文本文件（如日志、配置、代码），用 tr 或 sed 清理最稳妥，避免破坏有效中文或符号：
Zynq Linux Hardware Debug
下载
Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq（Cortex‑A9/A53 + FPGA）Linux 环境，调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查，支持 PetaLinux 开发。
- 只保留可打印 ASCII + 常用空白：
tr '\177-\377\000-\010\013\014\016-\037' '\n' clean.txt - 删除 BOM 和零宽字符（适用于 UTF-8 文件）：
sed '1s/^\xEF\xBB\xBF//' filename | sed 's/[\u200B-\u200F\u202A-\u202E\u2060-\u2064\uFEFF]//g' | iconv -c -f UTF-8 -t UTF-8（需 GNU sed 支持 \u） - 更通用做法（兼容性高）：
LC_ALL=C grep --line-buffered -a "[[:print:][:space:]]" filename | sed 's/[^[:print:][:space:]]//g'—— 先按字节过滤可显示范围，再清除剩余杂字
处理含中文的文件：避免误删汉字
直接删“非 ASCII”会把中文全干掉。关键在于区分“无效字节”和“合法 UTF-8 中文”：
- 先验证文件是否真为 UTF-8：
iconv -f UTF-8 -t UTF-8//IGNORE filename >/dev/null && echo "valid UTF-8"；若报错，说明存在非法序列 - 用
iconv自动剔除非法字节：iconv -c -f UTF-8 -t UTF-8 input.txt > output.txt（-c参数跳过无法转换的字节，保留其余内容） - 配合
enca判断真实编码再转：enca -L zh_CN -x UTF-8 filename（自动识别并转为 UTF-8，同时丢弃无法识别的字节）
批量清理与脚本化建议
对多个文件操作时，务必先测试，再执行：
- 预览清理效果：
for f in *.log; do echo "== $f =="; iconv -c -f UTF-8 -t UTF-8 "$f" | head -5; done - 原地覆盖（谨慎！）：
for f in *.txt; do iconv -c -f UTF-8 -t UTF-8 "$f" > "$f.tmp" && mv "$f.tmp" "$f"; done - 保留原始备份：
cp file.txt file.txt.bak && iconv -c -f UTF-8 -t UTF-8 file.txt.bak > file.txt
不复杂但容易忽略：清理前确认文件用途——日志类可大胆清，配置类建议人工核对首尾几行，数据库导出文件则优先用对应工具重导而非硬删字节。
