讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么排查存储集群未完全就绪时上层计算节点盲目抢拉虚机

小静酱_3293

小静酱_3293

发布时间:2026-10-24 13:25:17

|

411人浏览过

|

来源于php中文网

原创

存储集群未完全就绪时计算节点抢拉虚拟机并非配置错误,而是调度逻辑在Ceph PG未active+clean、iSCSI LUN未完成recovery或NFS stale handle未刷新等“假性健康”信号下作出的误判,导致虚机启动后IO路径随机卡死。

linux怎么排查存储集群未完全就绪时上层计算节点盲目抢拉虚机

存储集群未完全就绪时,计算节点抢拉虚拟机(尤其是PVE、OpenStack或VMware中常见)不是配置错误,而是调度逻辑在“假性健康”信号下做出的误判——比如Ceph OSD刚启动但PG未active+clean、iSCSI target已上线但LUN未完成recovery、或NFS挂载看似成功但实际stale handle未刷新。这种状态下虚机可能启动成功却在IO路径上随机卡死,排查必须绕过“服务端口通了就行”的惯性思维。

确认存储后端真实就绪状态,别信挂载点或进程存在

计算节点看到/mnt/storage能ls、systemctl status iscsid显示active,不代表IO可用。真实就绪要看存储层内部一致性状态:

  • Ceph场景:必须执行ceph -s,重点检查pgmap中active+clean比例是否100%,若出现degraded或peering,即使OSD全up,虚机写入也可能触发hang
  • iSCSI场景:在计算节点运行iscsiadm -m session -P 3 | grep "State\|recovery",若输出含recovery pending或State: LOGGED IN (non-flash),说明LUN尚未完成SCSI协议级ready
  • NFS场景:用showmount -e <storage-ip></storage-ip>确认export列表后,必须sudo nfsstat -m查挂载选项,若含soft且timeo=600,则存储短暂不可用时内核会静默重试而非报错,导致虚机IO卡在uninterruptible sleep

抓取计算节点侧IO路径阻塞证据,定位是存储响应慢还是计算层误判

虚机卡住时,宿主机上常表现为ps aux | grep qemu里进程状态为D(uninterruptible sleep),但这不等于存储真挂了——可能是计算节点IO调度器或驱动层卡在等待超时。关键动作是:

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 立刻执行iostat -x 1 5,观察%util是否持续100%且await飙升(>100ms),若r/s和w/s接近0,说明请求根本没发到存储,堵在本地块设备层
  • 检查dmesg -T | tail -30,重点找end_request: I/O error、qemu-kvm: timeout waiting for device或nvme nvme0: controller is down类日志,这些比journalctl里的service日志更早暴露底层失败
  • 对PVE环境,直接查qm config <vmid></vmid>中scsi<n>: ... cache=none</n>配置——若存储后端不支持write-through但虚机磁盘设了cache=none,IO会因等待存储确认而堆积,尤其在PG未clean时

临时阻断计算节点自动拉起虚机,避免雪崩式IO挤压

存储未就绪时,计算节点上的高可用管理器(如PVE的pmxcfs、OpenStack的nova-compute)仍会按心跳恢复策略尝试重启虚机,形成IO风暴。必须快速干预:

  • PVE:执行systemctl stop pve-ha-lrm(停高可用资源管理器),再qm stop <vmid> --skiplock</vmid>强制关虚机,避免qm start自动触发
  • OpenStack:在控制节点运行nova service-list | grep compute找到对应host,然后nova service-disable <host> nova-compute</host>,禁止该节点接受新调度
  • 通用方法:在计算节点临时卸载存储挂载点并禁用自动挂载,例如umount -l /var/lib/vz/images后注释/etc/fstab中对应行,防止reboot后自动重连故障存储

真正容易被忽略的是:存储集群“看起来正常”的窗口期(比如Ceph OSD up但PG recovery中)往往只有几十秒,而计算节点的健康检查间隔默认是30–60秒。这意味着你看到ceph -s输出OK时,很可能刚跨过那个危险临界点——必须把ceph pg stat和ceph osd df加入监控告警,而不是只盯ceph -s的summary行。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4190

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3553

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2773

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6790

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6442

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3713

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3205

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3439

2023.07.25

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

20

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
光速学会docker容器
光速学会docker容器

共33课时 | 3万人学习

Docker 17 中文开发手册
Docker 17 中文开发手册

共0课时 | 0人学习

Docker 教程
Docker 教程

共19课时 | 29.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn