Linux大文件排序应优先使用sort命令内置外部归并排序，合理配置-S指定内存（建议25%～50%物理内存）、-T指向高速临时目录、-n/-h确保数值/人类可读格式正确排序，并可用--parallel、-u、-o等提升效率。

Linux 中对大文件内容进行快速排序，关键在于**避免内存溢出、减少磁盘 I/O 压力、利用 sort 的内置优化机制**。`sort` 命令本身已针对大文件做了高度优化（如外部归并排序），不需要手动分块合并，但需合理配置参数。

用 -S 选项控制内存使用量

默认情况下，sort 会自动估算可用内存并分配缓存，但对超大文件（如几十 GB），可能因内存不足触发频繁临时文件读写，拖慢速度。显式指定内存上限可提升稳定性与效率：

• sort -S 2G large_file.txt > sorted.txt：强制最多使用 2GB 内存
• sort -S 10% large_file.txt > sorted.txt：限制为系统总内存的 10%
• 建议值：设为物理内存的 25%～50%，留足余量给系统和其他进程

按数值或人类可读格式正确排序

若文件含数字型字段（如日志中的响应时间、CSV 中的销量），必须用 -n 或 -h，否则默认字符串排序会导致 10 这类错误：

Linux Security Scanner

Linux 安全审计工具，检查 SSH 配置、开放/监听端口、防火墙规则（ufw/iptables/nftables）、失败登录尝试、sudoers 权限...

下载

• sort -n -k3 large_data.csv > sorted.csv：按第 3 列数值升序
• sort -hr -k4 log.txt：第 4 列是 1.2M、512K 类大小字段，按人类可读格式降序
• 避免漏掉 -n 导致逻辑错乱——这是大文件排序出错最常见原因

加速 I/O：用 -T 指定高速临时目录

sort 在内存不足时会创建临时文件，默认放在 /tmp。如果 /tmp 是慢速磁盘或空间不足，会严重拖累性能：

• sort -S 4G -T /mnt/ssd/tmp large_file.txt > sorted.txt
• /mnt/ssd/tmp 需提前创建且有足够空间（临时文件总量常达原文件 1.5～2 倍）
• 配合 mktemp -d 可动态建临时目录，用完自动清理

其他实用技巧

进一步提升效率和可靠性：

• sort -u：去重后再排序，减少处理行数
• sort --parallel=4：在多核 CPU 上启用并行归并（GNU coreutils ≥ 8.24）
• sort -o sorted.txt input.txt：用 -o 直接输出到文件，避免管道开销
• 确认字段分隔符：若数据用制表符或逗号分隔，加 -t $'\t' 或 -t ','，再配 -k 精准定位