讲师中心 微信公众号
AI工具推荐 视频效率加速

Ceph怎么排查由于时钟偏移过大CLOCK_SKEW导致集群报错

胖杰姑娘_8875

胖杰姑娘_8875

发布时间:2026-10-08 07:19:37

|

226人浏览过

|

来源于php中文网

原创

Ceph报clock skew detected是明确健康风险信号,必须立即处理——Monitor间时差超0.05s将导致Paxos失准、Peering卡住、OSD Flapping甚至仲裁丢失;应优先部署内网NTP+强制step校时,而非调大mon_clock_drift_allowed参数。

ceph怎么排查由于时钟偏移过大clock_skew导致集群报错

直接结论:Ceph 报 clock skew detected 不是警告,是明确的健康风险信号,必须立即处理——它大概率意味着 Monitor 之间时间差已超 0.05s,Paxos 协议和心跳机制可能开始失准,继续放任会引发 Peering 卡住、OSD Flapping、甚至仲裁丢失。

怎么确认是不是真偏移,而不是误报

别急着改配置或重启服务,先验证偏差值和方向:

  • 执行 ceph health detail,看输出里具体哪几个 mon 出现了 clock skew X.XXXXXs > max 0.05s,记下节点名和数值(比如 mon.1 clock skew 8.37274s)
  • 登录对应 mon 节点,运行 ntpq -p 查看 NTP 同步状态:如果显示 state = reject 或 offset 列绝对值持续 > 100ms,说明 NTP 没真正同步上
  • 用 chronyc tracking(chrony)或 ntpq -c rv(ntpd)比对本地时间与上游源的 offset;再手动在所有 mon 节点上并行执行 date -Iseconds,肉眼比对 UTC 时间是否一致
  • 注意:systemctl status chronyd 显示 active ≠ 时间已同步,只代表守护进程在跑

为什么改 mon clock drift allowed 是下策

这个参数能压住告警,但不能解决根本问题,反而掩盖更危险的信号:

  • 官方默认 0.05s 是经过 Paxos 和 Monitor Store Synchronization 压测得出的安全阈值,调高到 2 或 15 后,Monitor 可能收不到彼此的 propose 消息,导致 map 更新延迟、PG stuck in peering
  • 即使你设了 mon clock drift allowed = 2,只要某次心跳时差瞬时超过该值,仍会触发 clock skew detected 日志,且后续 timecheck 会指数退避(由 mon clock drift warn backoff 控制),掩盖真实恶化趋势
  • 很多线上案例显示:调大该值后集群“看起来正常”,但随后出现 pg stuck inactive 或 mon quorum lost,回溯发现就是长期 clock skew 导致 monitor map 分发不一致

正确修复路径:NTP 必须跑在内网,且必须强制 step

外部 NTP(如 pool.ntp.org)在 Ceph 场景下基本不可靠,尤其当网络抖动或 DNS 不稳时,chronyd/ntpd 会进入 slewing 模式缓慢纠偏,而 Ceph 需要的是快速、确定性的时间对齐:

  • 选一台稳定主机部署内网 NTP server(推荐 chrony + makestep 1 -1),所有 mon/osd 节点只指向它,禁用任何公网 upstream
  • 在所有 Ceph 节点的 /etc/chrony.conf 中确保包含:makestep 1.0 -1(允许任意偏移量下强制跳变)、rtcsync(同步硬件时钟)、log tracking measurements statistics(便于事后查 drift 曲线)
  • 执行 chronyc makestep 强制立刻跳变(比 systemctl restart chronyd 更有效),再等 2–3 分钟,观察 chronyc tracking 的 Offset 是否稳定在 ±5ms 内
  • 最后才重启 mon:systemctl restart ceph-mon@<mon-id>,不要用 ceph-deploy 全量推配置,避免覆盖已生效的 NTP 设置

容易被忽略的三个细节

修完之后仍可能复发,往往卡在这几个地方:

  • 虚拟机场景下,VMware Tools 或 QEMU Guest Agent 的时间同步功能必须关闭,否则会和 chronyd 冲突,造成时间来回拉扯
  • 某些云厂商(如 AWS EC2)的 chrony 默认启用了 canbepoisoned,需在 /etc/chrony.conf 中显式加 nocanbepoison 禁用该行为
  • ceph health 不会自动清除旧的 clock skew 告警缓存,即使时间已同步,也要等 mon_timecheck_skew_interval(默认 30s)之后的下次检查才会更新状态;可手动触发:ceph daemon mon.<id> timecheck

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

0

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

0

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

0

2026.10.16

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

0

2026.10.16

Revel框架入门与安装配置
Revel框架入门与安装配置

本专题从Revel框架环境搭建讲起,系统介绍命令行工具安装、项目创建、目录结构、配置文件及热代码重载,帮助开发者快速完成首个Go Web应用。

0

2026.10.16

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

20

2026.10.15

MySQL 忘记密码怎么办
MySQL 忘记密码怎么办

MySQL忘记密码专题汇集不同版本与系统下的root密码重置方法,覆盖MySQL 5.7、8.0、Mac、Linux及本地集成环境,并提示恢复权限与重新登录的检查步骤。

20

2026.10.15

Vue.js 中 ref 和 reactive 的区别
Vue.js 中 ref 和 reactive 的区别

Vue.js中ref和reactive的区别专题汇集两种响应式API的定义、访问方式、对象解构、侦听与性能取舍等文章,帮助结合实际状态类型选择合适写法。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
光速学会docker容器
光速学会docker容器

共33课时 | 3万人学习

Docker 17 中文开发手册
Docker 17 中文开发手册

共0课时 | 0人学习

Docker 教程
Docker 教程

共19课时 | 29.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn