讲师中心 微信公众号
AI工具推荐 视频效率加速

Ceph怎么排查OSD处于Down或Out状态无法自动上线

陌浩小哥_5706

陌浩小哥_5706

发布时间:2026-11-06 12:01:35

|

616人浏览过

|

来源于php中文网

原创

根本原因是OSD进程未运行或未被集群识别;需依次检查systemctl状态、journal日志、设备路径漂移(尤其SSD)、网络连通性、时间同步及元数据一致性。

ceph怎么排查osd处于down或out状态无法自动上线

OSD 处于 down 或 out 状态却无法自动上线,根本原因几乎总是「OSD 进程没起来」或「起来了但没被集群识别」,而不是配置或策略问题。自动上线只在特定条件下触发(如网络恢复、进程重启后主动注册),它不会“猜”你是不是修好了磁盘或改对了地址。

确认OSD进程是否真在运行

很多人看到 ceph osd tree 显示 down,第一反应是调 ceph osd in,但其实进程可能压根没跑起来。

  • 在对应节点执行 systemctl status ceph-osd@<osd_id></osd_id>(例如 ceph-osd@1),看是否为 active (running);若显示 inactive (dead) 或 failed,说明服务根本没启动
  • 检查 journalctl -u ceph-osd@<osd_id> -n 100 --no-pager</osd_id>,重点搜 device not found、permission denied、failed to bind、crush location parse error
  • 特别注意:如果用 ceph-volume lvm activate 启动,得再看 /var/lib/ceph/osd/ceph-<osd_id>/stderr</osd_id>,里面常有更底层的错误(比如 LVM LV 找不到、XFS mount 失败)

检查设备路径是否漂移(尤其 SSD/NVMe 场景)

SSD 盘符漂移是 down 后无法恢复的最隐蔽高频原因——设备还在,但 OSD 找不到它了。

  • 执行 ls -l /dev/disk/by-id/,对比当前实际设备名(如 nvme-eui.002538594c1234567890)和 OSD 元数据中记录的路径(/var/lib/ceph/osd/ceph-<osd_id>/block</osd_id> 是个 symlink,readlink 它)
  • 若 symlink 指向的 /dev/sdb 已不存在,而真实设备现在是 /dev/sdc,说明盘符漂移了;此时不能直接 ln -sf 修复,必须用 ceph-volume lvm activate --force 重新绑定持久 ID
  • 验证方式:ceph-volume lvm list 输出里 devices 字段应显示 by-id 路径,而非 /dev/sdX

验证 OSD 是否能与 Monitor 正常通信

OSD 进程起来了,也绑对了设备,但仍是 down,大概率卡在心跳环节。

  • 检查 ceph.conf 中该 OSD 的 public_addr 和 cluster_addr 是否指向当前节点的真实 IP(不是 127.0.0.1,也不是已失效的网卡别名)
  • 在 OSD 节点上执行 telnet <mon_ip> 6789</mon_ip>(Monitor 端口)和 telnet <mon_ip> 6800</mon_ip>(OSD 数据端口,用于其他 OSD 通信),确认端口可达
  • 检查防火墙:iptables -L -n | grep 6789 或 ufw status,Ceph 默认需要开放 6789(MON)、6800–7300(OSD)范围
  • 注意时钟偏移:若节点时间比 Monitor 快/慢 > 0.5s,OSD 会拒绝加入;用 chronyc tracking 或 ntpq -p 验证

为什么 ceph osd in 有时无效

手动执行 ceph osd in osd.<id></id> 只是把 OSD 标记为“允许接收 PG”,不解决底层问题。如果进程没起来、设备找不到、网络不通,它会立刻再次变成 down。

  • in 命令生效的前提是:OSD 进程正在运行,并且已向 Monitor 发送过一次有效 heartbeat(通常在启动后几秒内)
  • 若执行 in 后状态仍不稳,立即查 ceph -w 输出,看是否有 osd.<id> addr ... marking down</id> 类日志——这说明 Monitor 主动踢掉了它
  • 真正该用 in 的场景,是确认所有底层条件都满足后,OSD 却因短暂网络抖动被标记 out,且未自动恢复;此时 in + 等待 30 秒观察即可

最常被忽略的点是:OSD 的元数据(/var/lib/ceph/osd/ceph-<id>/whoami</id>、ceph_fsid、fsid)必须与集群全局一致。一旦误删或覆盖,即使进程跑起来,Monitor 也会拒绝认证——这种情况下 ceph auth get osd.<id></id> 返回空,且 journal 里会出现 auth: unable to find a key for osd.<id></id>。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

20

2026.11.05

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

20

2026.11.04

XORM框架结构体映射与表结构同步
XORM框架结构体映射与表结构同步

本专题围绕XORM框架的结构体映射展开,说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充,并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。

20

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

20

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

0

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

0

2026.11.04

XORM框架零基础入门教程
XORM框架零基础入门教程

本专题梳理XORM框架的入门路径,从框架定位、依赖安装、连接数据库到跑通第一个增删改查示例,讲清Engine初始化、日志开启与项目目录规划,并对比GORM等同类ORM的差异,帮助Go开发者建立整体认知。

0

2026.11.04

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

40

2026.11.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
光速学会docker容器
光速学会docker容器

共33课时 | 3万人学习

Docker 17 中文开发手册
Docker 17 中文开发手册

共0课时 | 0人学习

Docker 教程
Docker 教程

共19课时 | 29.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn