讲师中心 微信公众号
AI工具推荐 视频效率加速

RabbitMQ铲子插件(Shovel Plugin)跨集群同步数据实战教程

小伟吖_7142

小伟吖_7142

发布时间:2026-06-01 10:58:59

|

920人浏览过

|

来源于php中文网

原创

RabbitMQ Shovel是单向消息搬运工,非复制工具:消息从源队列移除后即不可逆,目标端未写入不阻断搬运;配置必须包含且仅包含src-uri、src-queue/src-exchange、dest-uri、dest-queue/dest-exchange这4个核心参数,缺一即状态恒为stopped。

rabbitmq铲子插件(shovel plugin)跨集群同步数据实战教程

Shovel 插件不是“复制工具”,而是单向搬运工:源队列里的消息一旦被它拉走,就从源端永久移除——哪怕目标端还没成功写入。这点不理解,同步后发现源队列空了、目标端却没收到,第一反应往往是“Shovel 没工作”,其实它早把消息搬走了,只是卡在投递环节。

shovel 配置漏掉这 4 个参数,状态永远是 stopped

动态配置时(推荐),set_parameter 命令必须包含且仅包含以下 4 项,少一个或拼错大小写/连字符,Shovel 进程不会报错,但状态始终为 stopped:

  • src-uri:完整 AMQP URI,vhost 必须 URL 编码(如 %2f 表示 /),密码含特殊字符也要编码
  • src-queue 或 src-exchange:二者二选一;若选 src-exchange,必须同时配 src-routing-key 和 src-exchange-type
  • dest-uri:格式同 src-uri,建议用域名而非 IP,方便后续 DNS 切换
  • dest-queue 或 dest-exchange:与源端类型对应;若目标是 dest-queue,该队列必须已存在且 durable=true

消息“消失”最常见的 3 个原因

日志里看不到报错,Shovel 状态是 running,但目标端收不到消息——大概率是语义断层,不是网络或权限问题:

RabbitMQ 4.2.3
RabbitMQ 4.2.3

RabbitMQ 4.2.3 是 2026 年初发布的重要稳定更新版本,重点修复了 Khepri 元数据存储相关问题,并改进了监控性能。对于使用 Docker、Kubernetes 或微服务架构的开发团队来说,该版本兼容性和稳定性表现较好。

下载
  • 源发到 topic 交换器,但目标 dest-exchange 是 direct 类型,且没配对的 binding,消息直接被丢弃
  • 源消息 delivery-mode 不是 2(即非持久化),Shovel 转发途中目标 Broker 崩溃,这部分消息彻底丢失
  • dest-uri 中的用户在目标 vhost 上缺少 configure 或 write 权限,Shovel 日志只报 NOT_ALLOWED,不标红也不中断

ack-mode + prefetch-count 组合决定是否丢消息

默认 ack-mode 是 on-confirm,这是安全基线;但若搭配过大的 prefetch-count(比如 >100),会导致源端在未确认目标投递成功前就批量 ACK 消息,一旦 Shovel 进程崩溃或网络中断,这批已 ACK 未送达的消息就丢了:

  • 生产环境建议设 ack-mode 为 on-confirm,prefetch-count 控制在 10~50 区间
  • 若追求吞吐且能接受少量重复,可改用 ack-mode: on-publish,此时 Shovel 在发出消息后立即 ACK 源端,不等目标端 confirm
  • reconnect-delay 建议设为 10 秒以上,避免频繁重连压垮目标 Broker

动态配置后必须手动启动,否则不干活

通过 HTTP API 或管理界面配置完 Shovel,状态默认是 stopped。很多人以为“保存即生效”,结果等半天数据没动:

  • API 方式需额外调一次 POST /api/shovels/%2f/{name}/start
  • 管理界面中,在 Admin → Shovel Management 页面,找到刚建的 shovel,点 Start shovel now
  • 静态配置(rabbitmq.conf)要重启整个节点,跨机房场景下等于主动中断服务,生产环境禁止使用

真正难的不是配通,而是确认每条消息的终点是否和你预期的一致:exchange 类型、binding 关系、routing key、delivery-mode、vhost 权限——这些细节全在目标端生效,源端完全不校验。

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

417

2023.08.15

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

860

2023.09.08

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2532

2023.09.19

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

856

2023.10.09

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

749

2023.10.17

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

394

2023.10.17

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2276

2023.10.18

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

4192

2023.10.20

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
RabbitMQ 入门教程
RabbitMQ 入门教程

共0课时 | 129人学习

RabbitMQ 教程手册
RabbitMQ 教程手册

共0课时 | 0人学习

RabbitMQ 官方文档
RabbitMQ 官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn