讲师中心 微信公众号
AI工具推荐 视频效率加速

PVE怎么配置多节点物理集群并接入共享Ceph统一存储池

老静姑娘_2705

老静姑娘_2705

发布时间:2026-11-04 12:51:20

|

832人浏览过

|

来源于php中文网

原创

PVE集群要求所有节点时间同步、UDP 5404/5405端口互通、TCP 22端口SSH可达;还需同版本PVE、主机名与IP唯一、集群网络延迟低于2ms,且加入后禁止修改主机名、IP及集群名。

pve怎么配置多节点物理集群并接入共享ceph统一存储池

物理节点必须满足哪些基础条件才能加入PVE集群

不是所有能装PVE的机器都能进集群。核心限制有三个:pve-cluster 服务依赖 corosync,要求所有节点时间偏差 chrony 必须同步到同一源)、主机名唯一且可被互相解析(/etc/hosts 或 DNS)、SSH 免密 root 登录已配置(ssh-copy-id root@node2)。常见错误是节点间 ping 通但 corosync 启动失败,大概率是防火墙没放行 UDP 5404/5405 端口,或 SELinux 处于 enforcing 模式(PVE 不支持 SELinux,需设为 disabled)。

初始化集群后如何安全添加新节点

主节点执行 pvecm add <ip></ip> 是最简方式,但实际中容易因网络延迟或证书不一致失败。建议分步操作:

  • 在待加入节点上先运行 pvecm expected 1(避免 quorum 误判)
  • 主节点执行 pvecm add <ip></ip> 前,确认 /etc/pve/corosync.conf 中 totem.interface.bindnetaddr 设置的是本机直连网段(不是 Docker 网桥或 NAT 地址)
  • 添加成功后,立刻在所有节点运行 pvecm status 验证 quorum 为 1 且 nodes 列出全部主机名
  • 不要用 pvecm delnode 删除离线节点,应先关机再执行,否则残留锁可能阻塞后续操作

Ceph OSD 节点与 PVE 计算节点是否要分离

生产环境强烈建议分离。Ceph OSD 进程对磁盘 I/O 和 CPU 调度敏感,和 KVM/QEMU 共享同一物理节点时,容易出现存储延迟毛刺、rbd map 超时、甚至 ceph health WARN 报 OSD_DOWN。若资源受限必须复用,至少做到:

  • OSD 使用独立 NVMe/SATA SSD,绝不与系统盘或 VM 磁盘混用同一块物理盘
  • 在 Ceph 配置中启用 osd_cpu_threads = 2(默认为 0,即不限制),避免 OSD 吃光 CPU
  • PVE 中创建虚拟机时,磁盘总线选 virtio-scsi + 启用 cache=none 和 io=native,绕过 host page cache 干扰 Ceph 的 direct I/O

如何让 PVE GUI 正确识别并挂载 CephFS 或 RBD 池

Web 界面里看不到 Ceph 存储?不是配置漏了,而是 PVE 默认只自动发现名为 rbd 的池。其他池名(如 vm-data)必须手动注册:

  • 登录主节点终端,运行 pvesm add rbd <pool-name> --pool <pool-name> --username admin --monhost '10.10.10.1,10.10.10.2,10.10.10.3'</pool-name></pool-name>
  • --monhost 必须填 Ceph monitor IP 列表(逗号分隔,无空格),不能写域名(除非所有节点 /etc/hosts 都配齐)
  • 如果 Ceph 启用了 CRUSH rule 或自定义 PG 数,PVE 创建镜像时可能报 pg_num 128 not suitable —— 此时需在 Ceph 侧先运行 ceph osd pool set <pool> pg_num 256</pool>(必须是 2 的幂)
  • RBD 存储类型无法直接挂载 CephFS,如需文件系统语义,得额外部署 CephFS 客户端并用 pvesm add cephfs 注册,但该类型仅支持模板上传/下载,不能作为 VM 磁盘后端

真正麻烦的不是配置步骤,而是 Ceph monitor 与 PVE corosync 对网络稳定性的双重苛刻要求——一个丢包,就可能同时触发 corosync timeout 和 ceph mon election,导致集群反复震荡。上线前务必用 mtr -r -c 100 <mon-ip></mon-ip> 和 mtr -r -c 100 <other-node-ip></other-node-ip> 同时压测双路径。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

相关专题

更多
Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

Docker Desktop镜像构建教程
Docker Desktop镜像构建教程

想使用Docker Desktop将本地项目构建成Docker镜像?本专题围绕镜像构建的实际操作展开,介绍Dockerfile编写、构建命令使用、镜像标签设置和构建日志查看等内容,同时整理镜像无法生成、依赖安装失败及构建缓存异常等问题的排查思路。

0

2026.11.03

Docker Desktop容器创建指南
Docker Desktop容器创建指南

本专题聚焦Docker Desktop容器创建与运行配置,介绍通过本地镜像或远程镜像创建容器的方法,以及容器启动、终端访问、日志查看和基础管理等操作。针对端口冲突、参数配置不当、容器无法启动等情况,也整理了相应的排查方向。

0

2026.11.03

Tailwind CSS 如何制作导航栏和卡片
Tailwind CSS 如何制作导航栏和卡片

用 Tailwind CSS 制作导航栏和卡片,可先搭建语义化结构,再组合 Flex、Grid、间距、圆角与阴影类。这里整理横向导航、移动端菜单、卡片网格及悬停效果的相关文章,帮助你把常见页面组件做得清晰且适配不同屏幕。

0

2026.11.03

Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

0

2026.11.03

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

0

2026.11.03

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

0

2026.11.03

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

20

2026.11.02

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

40

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
光速学会docker容器
光速学会docker容器

共33课时 | 3万人学习

Docker 17 中文开发手册
Docker 17 中文开发手册

共0课时 | 0人学习

Docker 教程
Docker 教程

共19课时 | 29.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn