根本原因是Navicat在Windows下默认写入UTF-8 BOM(\xEF\xBB\xBF)和CRLF换行符,导致Linux工具如awk、sed、csv.reader遇BOM报“line contains NULL byte”错误;解决需禁用BOM、设行结束符为LF,或改用mysqldump/psql等原生命令生成无BOM、纯LF的CSV。

Navicat导出的CSV在Linux下换行符异常,根本不是“显示问题”,而是文件里混入了Windows风格的\r\n和/或UTF-8 BOM头\xEF\xBB\xBF,导致awk、sed、csv.reader等工具直接报line contains NULL byte或中途退出——这不是兼容性差,是它们按规范拒绝解析非法字节。
为什么file -i data.csv显示charset=utf-8却仍报错
因为file只检测BOM或前几百字节,它说“utf-8”不代表文件干净:
• BOM存在时,file仍可能输出charset=utf-8,但Python的open()默认文本模式会把它当普通字符读入,触发NULL byte错误;
• 混合换行(如某行\r\n,另一行\n)不会改变file的编码判断,但会让head -n 10卡在中间或跳行;
• Navicat导出时若勾选了「UTF-8 BOM」,哪怕你选的是UTF-8,BOM也一定写入——而Linux命令行工具几乎都不处理这个头。
导出设置里必须手动改的三项参数
新版Navicat(v16+)的换行符选项藏得深,且仅在特定条件下生效:
• 导出格式必须选Text File(不是“CSV”单独选项,而是下拉菜单里的Text File);
• 点开Advanced Options → 拉到底部找到Line ending → 显式选Unix (LF);
• 必须勾选Enclose fields in quotes:否则字段内含\n时,Navicat不加引号,Linux脚本就把它当行分隔符切开;
• Fields delimiter保持,,Text qualifier保持",别动——改了反而破坏RFC 4180兼容性。
Navicat Premium 17.1 Windows x64 历史系列获取入口。该系列扩展 Garnet、PolarDB 等连接支持,并增强可视化查询解释与 Redis 树视图;未核实到公开固定安装包直链。
导出后在Linux端两行命令清洗最可靠
别反复调Navicat重导,导出后立刻在目标服务器上跑:
• 移除BOM:sed -i '1s/^\xEF\xBB\xBF//' data.csv(只对UTF-8 BOM有效,不影响内容);
• 统一换行符:sed -i 's/\r$//' data.csv(比dos2unix更轻量,只删行尾\r,不碰文件其他部分);
• 验证是否干净:file -i data.csv应输出charset=utf-8;head -n 3 data.csv | cat -A应只看到$结尾,没有^M$;
• 如果下游是Python,用pandas.read_csv(..., encoding='utf-8-sig')能自动吞BOM,但cat、grep、awk永远不行——所以清洗必须前置。
真正容易被忽略的是:Navicat只是GUI前端,它的导出行为受运行系统支配。你在Windows上点“导出”,生成的就是Windows习惯的文件;想让Linux定时任务稳定跑,就得绕过Navicat,改用mysqldump --lines-terminated-by='\n'或psql -c "COPY ... TO STDOUT WITH CSV"——这些命令跑在数据库服务端,输出天然适配Linux环境,BOM、换行、编码全可控。

















