rsync配合校验是迁移大训练数据集最稳妥方案;需先检查挂载与权限、安装rsync 3.1.0+、临时关闭SELinux,再用--checksum--partial--delete-after同步,最后用diff+md5sum或rsync -avn验证一致性。

当你要把几十GB甚至上TB的训练数据集从旧SSD迁移到新NVMe盘,又担心传错一个字节导致模型训练失败时,rsync配合校验就是最稳妥的选择——它不只拷文件,还能逐块比对内容是否一致。
准备阶段:确认基础环境与权限
先检查两块磁盘是否都已挂载且可写:df -h | grep -E "(sdb|nvme)",确保源路径(如/mnt/old_data)和目标路径(如/mnt/new_data)存在且挂载点类型均为ext4/xfs;若目标目录不存在,用mkdir -p /mnt/new_data创建。
运行rsync --version确认已安装 rsync 3.1.0+,低版本可能缺失--checksum稳定支持;若未安装,执行yum install rsync -y(CentOS/RHEL)或apt install rsync -y(Ubuntu/Debian)。
【必须关闭SELinux临时策略,否则可能拦截文件属性同步】执行setenforce 0,并确认getenforce返回Permissive;若需永久关闭,修改/etc/selinux/config中SELINUX=disabled后重启。
核心同步命令:带断点续传与全量校验
执行以下命令启动同步:
rsync -avhP --checksum --partial --delete-after /mnt/old_data/ /mnt/new_data/
其中--checksum强制对每个文件做MD5比对(而非默认的大小+时间戳),确保内容零误差;--partial允许传输中断后继续,避免大文件重传;--delete-after在同步完成后再清理目标中多余文件,防止误删正在写的临时文件。
这一步耗时较长,但终端会实时显示每个文件的传输进度、速度和剩余时间;若中途断开(如SSH超时),重新执行相同命令即可从断点继续,无需人工干预。
校验结果验证:确认每一块数据都准确无误
同步完成后,立即运行校验比对:
diff
该命令对两个目录下所有普通文件生成MD5并排序比对,输出为空表示完全一致;若有差异,会列出具体文件路径及哈希值偏差。
注意:此操作会遍历全部文件并计算哈希,对千万级小文件可能较慢;若仅需抽样验证,可改用rsync -avn --checksum /mnt/old_data/ /mnt/new_data/——加-n参数模拟运行,只报告“需要更新”的文件列表,实际不传输,适合快速确认一致性。


















