kubelet因nodefs空间不足触发Node-pressure Eviction，将Pod设为Evicted并移除；需通过kubectl describe node检查Events中“nodefs.available

当Kubernetes节点系统盘（nodefs）空间耗尽，kubelet会触发Node-pressure Eviction机制，将Pod状态设为Evicted并从该节点移除——这不是应用崩溃，而是节点主动“清退”以保集群稳定；若只查Pod日志或重启容器，问题会在几小时内重现。

确认驱逐是否由nodefs空间不足引发

执行 kubectl describe node <node-name></node-name>，在Events区块中查找含 “The node was low on resource: nodefs” 或 “nodefs.available 的事件行。若存在，说明是nodefs而非imagefs或内存导致的驱逐。

紧接着运行 kubectl get node <node-name> -o wide</node-name>，比对 STATUS 是否为 Ready 且 ROLES 包含 worker 或 <none></none> —— 若节点仍为Ready但Pod被驱逐，基本排除NotReady类故障，聚焦本地磁盘。

⚠️ 注意：df -h / 显示还有10%空间，不代表安全；kubelet判断依据是 nodefs.available 指标，它统计的是 /var/lib/kubelet、/var/log、/var/lib/docker/overlay2 等子路径实际可用空间，不是根目录整体剩余。

登录节点定位真实占用大户

用SSH登录对应节点，执行：sudo du -sh /var/* 2>/dev/null | sort -hr | head -10，快速列出/var下前十大目录体积。

uk8s

创建 UK8S Kubernetes 集群。通过 ucloud-cli 调用 API，自动获取 VPC/子网/版本/镜像，生成配置并创建集群。

下载

重点盯紧以下三处：
- /var/log/journal：systemd-journald日志默认不轮转，单节点积压数月可达20+GiB；
- /var/lib/kubelet/pods：已终止但未清理的Pod数据（如emptyDir残留、volume挂载点未卸载）；
- /var/log/containers 和 /var/log/pods：容器stdout/stderr软链接指向的实际日志文件，尤其当应用未配置logrotate时。

若发现 /var/log/journal 占用超8GiB，立即执行：sudo journalctl --disk-usage 查看归档总量，再运行 sudo journalctl --vacuum-size=500M 释放空间——这步操作很快，但必须加 sudo，否则权限不足无效果。

区分ephemeral-storage与nodefs，避免误判

第一步：检查Pod YAML中是否声明了 ephemeral-storage requests/limits。若未声明，kubelet会将容器所有写入（包括/tmp、/app/data）都计入nodefs压力，哪怕Pod本身限制了2GiB内存，其临时文件仍可能撑爆/var分区。

第二步：进入任一被驱逐Pod的容器命名空间（需节点有nsenter），执行：nsenter -t $(pgrep -f "pause") -m -u -i -n -p df -h /。观察输出中 Use% 列是否接近100%——这是容器视角的nodefs使用率，若该值高而宿主机df -h /仅70%，说明是某个Pod在疯狂写入临时文件，而非全局日志膨胀。

第三步：对比 kubectl describe pod <pod-name></pod-name> 中的 Events 和 Containers 部分。若事件里出现 “Container xxx was using XXXKi, which exceeds its request of 0”，且容器资源限制字段为空，则证实是ephemeral-storage未设限导致的nodefs挤占，此时修复动作必须落在Pod模板上，不能只清宿主机日志。

永久性清理与阈值加固

方法一：清理journal日志并锁定上限
① 运行 sudo mkdir -p /etc/systemd/journald.conf.d
② 创建 /etc/systemd/journald.conf.d/limit.conf，写入：
SystemMaxUse=500M
MaxRetentionSec=2week
③ 执行 sudo systemctl restart systemd-journald 生效——此后journal日志不会超过500MB且自动清理超2周记录。

方法二：调整kubelet nodefs驱逐阈值
编辑 /var/lib/kubelet/config.yaml，添加或修改：
evictionHard:
  nodefs.available: "5%"
然后重启kubelet：sudo systemctl restart kubelet。此举将触发驱逐的底线从默认15%降至5%，为运维留出更宽裕的响应窗口。

方法三：启用kubelet自动清理终止Pod残留
确保 /var/lib/kubelet/config.yaml 中包含：
evictionMinimumReclaim:
  nodefs.available: "1Gi"
这表示每次GC至少回收1GiB空间，避免“删一点、涨一点”的无效循环。