讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么排查Ceph集群报nearfull接近满载告警阻断数据写入

风强吖_1689

风强吖_1689

发布时间:2026-11-08 12:55:15

|

385人浏览过

|

来源于php中文网

原创

nearfull告警本身不阻断写入,真正停写的是full状态、ceph osd pause、PG backfill_toofull或peering失败;需用ceph health detail、ceph osd dump | grep paused、rados df -p等命令精准定位根因,而非盲目调阈值或权重。

linux怎么排查ceph集群报nearfull接近满载告警阻断数据写入

直接结论:nearfull 告警本身不会阻断写入,但伴随的 full 状态、OSD reweight 失败、PG backfill_toofull 或 osd pause 才会真正停写——得先分清是“告警”还是“实际写入失败”。

确认到底是 nearfull 还是 full 导致写入失败

很多运维一看到 nearfull osd(s) 就急着调权重,结果发现写入还是卡住。这是因为 nearfull 只触发 HEALTH_WARN,而真正阻断写入的是 full(HEALTH_ERR)或人工执行了 ceph osd pause。

  • 运行 ceph health detail,重点看有没有 full osd(s) 或 pool(s) full 字样;
  • 检查是否有 osd pause:执行 ceph osd dump | grep paused,输出非空即表示写入已被手动暂停;
  • 查 pool 容量:用 radosdf -p {pool_name} 看实际使用率,注意它和 ceph osd df 的单位可能不一致(前者按对象计,后者按磁盘块);
  • 别只信告警文本——ceph -s 输出里的 health: 行才是权威状态。

为什么调高 mon-osd-nearfull-ratio 常常没用

临时抬高阈值(比如从 0.85 改到 0.96)能压住告警,但解决不了根本问题:数据分布不均。如果某几个 OSD 实际使用率已达 92%,再把 nearfull 阈值提到 0.97,只会让问题延后爆发,且可能掩盖 PG backfill_toofull 卡死。

Linuxdo Application
Linuxdo Application

为 Linux.do 注册撰写高通过率、去 AI 化的中文小作文。进行自适应调查以了解申请人的真实背景,...

下载
  • 调整命令必须同时发给 mon 和 osd:仅改 mon 配置,OSD 不会自动 reload;
  • 执行 ceph tell mon.* injectargs "--mon-osd-nearfull-ratio 0.96" 后,立刻用 ceph --admin-daemon /run/ceph/ceph-mon.IP.asok config show | grep nearfull 验证是否生效;
  • PG 层也有独立阈值:ceph pg set_nearfull_ratio 0.96,漏掉这步,PG 状态仍可能报 stuck;
  • 更危险的是:盲目调高 full_ratio 到 0.97+,一旦某个 OSD 真达到 98%,CRUSH 无法再迁移数据,backfill_toofull 会雪球式增长。

数据不均衡时,ceph osd reweight-by-utilization 为什么有时失效

这个命令本质是按当前利用率反推权重,但它依赖 CRUSH map 的拓扑结构和 PG 分布逻辑。当 OSD 已 nearfull,新 PG 往它上面映射的概率极低,reweight 后数据迁移速度会非常慢,甚至卡在 backfill_toofull。

  • 先执行 ceph osd set noout 和 ceph osd set nodeep-scrub,避免迁移过程中触发额外 IO 压力;
  • 参数不是随便填:若 ceph osd df | sort -nk7 | tail -5 显示 top5 OSD 利用率方差(var)为 1.22,就该用 ceph osd reweight-by-utilization 122,而不是拍脑袋写 110;
  • 对已卡住的 PG(如 2.689),用 ceph pg map 2.689 查出它的 up_set(比如 osd.153 在其中),再单独降权:ceph osd crush reweight osd.153 0.75;
  • 权重不能低于 0.1,否则 CRUSH 认为该 OSD 不可用,可能引发 PG unfound。

真正卡写入时,最该盯住的三个地方

写入阻塞往往不是单一原因,而是多个环节叠加。优先检查这三项,比反复调 ratio 更有效:

  • ceph pg dump_stuck inactive:如果有 PG 卡在 inactive,说明 peering 失败,所有写请求会 hang 在该 PG 上;
  • ceph osd perf:看 commit_latency_ms 和 apply_latency_ms 是否持续 >500ms,超高延迟的 OSD 很可能是慢盘或 IO 饱和;
  • ceph daemon osd.x dump_ops_in_flight:挑一个疑似卡住的 OSD,看当前操作里有没有大量 op_type: write 停在 waiting_for_map 或 waiting_for_backfill 状态。

复杂点在于:nearfull 是表象,背后可能是某块 SSD 老化导致写放大、也可能是网络抖动让 backfill 持续失败、还可能是 CRUSH rule 设置了错误的 failure domain 导致数据只能往少数 OSD 上挤——得一层层剥开,不能只盯着告警文本改数字。

热门AI工具

更多
讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4450

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3733

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

3033

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7510

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

7142

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4053

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3545

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3799

2023.07.25

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
光速学会docker容器
光速学会docker容器

共33课时 | 3万人学习

Docker 17 中文开发手册
Docker 17 中文开发手册

共0课时 | 0人学习

Docker 教程
Docker 教程

共19课时 | 29.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn