Linux跨节点Shell脚本需构建分布式异常清理机制：主控节点捕获INT/TERM后广播清理信号，各节点通过trap响应并幂等清理资源，结合会话ID、状态文件、超时控制与锁机制保障安全。
在Linux大规模运维场景中，一个复杂Shell大脚本若跨节点执行（如挂载磁盘、清理Inode、批量启停服务），一旦中途被Ctrl+C（INT）或收到远程终止信号（TERM），必须确保所有已分配资源——包括本地挂载点、远程节点上的临时目录、锁文件、后台进程、回收站条目、日志句柄等——全部安全释放。仅靠单点trap 'clean; exit 1' INT TERM远远不够，需构建分布式、多活、带状态同步的异常清理机制。
核心：Trap本身不跨节点，必须显式传播信号与清理意图
Shell的trap只作用于当前进程空间。当脚本通过ssh、pdsh或parallel并发调用远程节点时，主控节点的trap无法自动触发远端清理逻辑。因此必须做到：
- 主控节点捕获INT/TERM后，不立即退出，而是先向所有已启动任务的节点发送“准备清理”信号（如自定义SIGUSR1）或写入共享协调点（如Redis键、NFS上的
/tmp/cleanup.flag） - 每个远程子脚本自身也配置
trap 'remote_clean; exit 1' INT TERM USR1，形成多层响应链 - 主控节点在发送信号后，等待各节点返回确认（如
echo "CLEAN_OK" >> /tmp/cleanup_ack.log），超时未响应则强制kill并记录为失败节点
清理函数必须支持幂等与状态回溯
分布式环境里，网络抖动、节点宕机、命令部分失败都可能导致清理动作执行不全。因此clean()不能是简单的一串umount和rm -rf：
- 所有关键操作前，先将操作元数据持久化到本地临时文件，例如：
echo "$NODE,$MOUNTPOINT,$PID,$RECYCLE_DIR" >> /tmp/cleanup.state -
clean()函数读取该状态文件，逐项检查资源是否仍存在（如mount | grep $MOUNTPOINT、ps -p $PID > /dev/null），只对存活项执行清理 - 对
umount等可能阻塞的操作加超时：timeout 30s umount -l $MOUNTPOINT || echo "force unmount failed" >&2 - 清理完成后，自动删除
/tmp/cleanup.state；若脚本非正常退出导致该文件残留，下次启动可检测并尝试恢复性清理
避免竞态：锁 + 时间戳 + 唯一会话ID
多个实例同时运行同一类大脚本（如双活部署中两个调度器并发触发磁盘挂载）极易引发冲突。需引入轻量协调机制：
- 主控脚本启动时生成唯一会话ID：
SESSION_ID=$(hostname)-$(date +%s)-$$ - 创建全局锁文件（建议用
flock而非单纯touch）：exec 200>/tmp/deploy.lock && flock -n 200 || { echo "locked"; exit 1; } - 所有远程节点在执行前，先校验
SESSION_ID是否匹配当前协调标识（如写入/tmp/session.id），不匹配则拒绝执行，防止旧会话残留任务干扰新流程 - 清理函数中，只清理属于本
SESSION_ID的资源，例如：find /data -maxdepth 2 -name ".RECYCLE-*${SESSION_ID}" -exec rm -rf {} +
真实可用的Trap模板结构
以下是一个可直接嵌入生产大脚本的trap骨架，已集成上述要点：
#!/bin/bash
SESSION_ID="$(hostname)-$(date +%s)-$$"
LOCK_FD=200
<p>cleanup_local() {
echo "[$(date)] Local cleanup start" >> /tmp/${SESSION_ID}.log</p><h1>检查并清理本地挂载</h1><p>[[ -f /tmp/cleanup.state ]] && while IFS=, read -r node mp pid recy; do
[[ "$(hostname)" == "$node" ]] || continue
mount | grep -q "$mp" && umount -l "$mp" 2>/dev/null
[[ -n "$pid" ]] && kill "$pid" 2>/dev/null
[[ -d "$recy" ]] && rm -rf "$recy"
done < /tmp/cleanup.state
rm -f /tmp/cleanup.state
}</p><p>cleanup_remote() {</p><h1>向所有已知节点广播清理指令</h1><p>[[ -f /tmp/nodes.list ]] && while read -r host; do
ssh -o ConnectTimeout=5 "$host" "SESSION_ID='$SESSION_ID' bash -s" <<'EOF'
trap 'rm -f /tmp/cleanup.flag; exit 1' INT TERM USR1
[[ -f /tmp/cleanup.flag ]] || exit 0</p><h1>远程清理逻辑（同local，但限定本机）</h1><pre class="brush:php;toolbar:false;"> ...
echo "CLEAN_OK from $(hostname)" >> /tmp/cleanup.ackEOF done }
主trap：先发信号，再等确认，最后清本地
trap 'echo "INT/TERM received"; echo 1 > /tmp/cleanup.flag; cleanup_remote; sleep 2; wait; cleanup_local; exit 1' INT TERM
