讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux GlusterFS 分布式存储实战

云雪小哥_5259

云雪小哥_5259

发布时间:2026-02-21 05:41:35

|

656人浏览过

|

来源于php中文网

原创

GlusterFS卷创建失败主因是glusterd未运行或Brick路径不存在/权限不足;客户端卡顿需调优cache-size和ping-timeout;脑裂须人工干预;版本不兼容会导致peer断连;Brick状态异常需查port/pid确认是否启动。

linux glusterfs 分布式存储实战

GlusterFS 卷创建失败:volume create 报 Transport endpoint is not connected

这通常不是网络不通,而是本地 glusterd 服务没跑起来,或 Brick 路径不存在 / 权限不对。GlusterFS 启动 Brick 前会先尝试挂载一个伪文件系统(/var/lib/glusterd/vols/ 下的 volname 目录),如果该目录不可写、父目录不存在,或者 glusterd 没在运行,就会卡在这一步。

  • 先确认 systemctl status glusterd 是 active (running),否则 systemctl start glusterd
  • 检查每个 Brick 路径是否真实存在:/data/brick1 这类路径必须提前 mkdir -p 好,且属主为 root:gluster(或至少 gluster 组可写)
  • 别用 NFS 或 CIFS 挂载点当 Brick —— GlusterFS 的 Brick 必须是本地 ext4/xfs 文件系统,且不能是其他挂载子目录
  • 执行 gluster volume create 前,确保所有节点时间同步(chronyd 或 ntpd),否则 peer probe 可能静默失败

客户端挂载后写入慢、ls 卡顿:默认配置下 performance.cache-size 和 network.ping-timeout 拉垮

GlusterFS 默认不开启读缓存,每次 ls 都要跨网络查所有 Brick 的目录项;同时,心跳超时设得过大(默认 42 秒),节点临时抖动就会让整个 I/O hang 住。

  • 挂载时加选项:mount -t glusterfs -o cache-size=256MB,transport.socket.keepalive-interval=2,transport.socket.keepalive-time=10 server1:/vol1 /mnt
  • 更稳妥的做法是在卷上设置: gluster volume set vol1 performance.cache-size 256MB gluster volume set vol1 network.ping-timeout 5
  • 注意 cache-size 是 per-client 生效,不是全局内存占用;但设太大(如 >1GB)反而可能触发内核 page cache 压力,尤其小内存机器
  • 如果用了 distribute-replicate 类型卷,避免在客户端开 read-ahead(默认开启),它对小文件随机读收益低,还加重网络负载

gluster volume heal 不自动修复,heal info 显示大量 Split-brain

Split-brain 不是“坏了”,而是 GlusterFS 明确拒绝自动仲裁 —— 它不知道哪边数据更新,也不敢随便丢数据。默认策略是停写、报错、等人工干预。

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 先查具体冲突文件:gluster volume heal vol1 info split-brain,输出里带 gfid: 的就是真冲突
  • 手动选一边恢复:gluster volume heal vol1 split-brain bigger-file /path/to/file(选大文件)或 source-brick(指定某节点为准)
  • 别碰 gluster volume set vol1 cluster.quorum-type 改成 none 来绕过仲裁 —— 这等于关掉脑裂保护,后续写入可能永久丢失
  • 预防比修复重要:确保复制卷(replica 3)至少 2 个 Brick 在线才允许写;用 quorum ratio 2(而非默认的 auto)能避免偶发网络分区引发脑裂

升级 GlusterFS 后 gluster peer status 显示 Peer in Cluster 但状态为 Disconnected

这是版本不兼容的典型信号。GlusterFS 9.x 和 10.x 之间协议有变更,老节点无法解析新节点发来的 handshake 包,但又没彻底断连,就卡在“已加入集群但连不上”这种灰色状态。

  • 先确认所有节点版本一致:gluster --version,特别注意 CentOS Stream 8/9 自带的包可能混着 8.x/9.x
  • 升级顺序必须是:先停所有 glusterd,再统一 rpm/yum upgrade,最后逐台 systemctl start glusterd
  • 升级后执行:gluster volume reset all(清空旧配置缓存),再 gluster peer probe 重连(哪怕显示已连接也要重探)
  • 如果仍失败,检查 /var/log/glusterfs/etc-glusterfs-glusterd.vol.log 里是否有 protocol version mismatch,那就是版本硬冲突,没别的办法,只能全量降级或重装

GlusterFS 的“分布式”不是黑盒,每个 Brick 的磁盘健康、内核版本、甚至 SELinux 策略都可能成为单点故障源。最常被跳过的其实是 gluster volume status detail 里每个 Brick 的 Port 和 Pid —— 它们不显示,往往意味着 Brick 根本没起来,而不是网络问题。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2093

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

3294

2023.10.07

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4250

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3573

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2833

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6910

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6562

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3773

2023.07.20

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

100

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn