讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

AniShort
AniShort

AI短剧协同制作平台

Laper
Laper

剧本策划到成片协作

如何在Linux利用Canal实现MySQL增量数据同步至ES

梦墨酱_8972

梦墨酱_8972

发布时间:2026-04-11 14:17:54

|

1108人浏览过

|

来源于php中文网

原创

Canal 依赖 canal-adapter 实现 MySQL 到 ES 的增量同步,需 MySQL 开启 ROW 格式 Binlog 并授权 canal 用户;ES 同步须用 es7.yml 配置,_type 必填 _doc,_id 需显式映射,字段类型须提前在 ES 中明确定义。

如何在linux利用canal实现mysql增量数据同步至es

Canal 本身不直接写 ES,必须搭配 canal-adapter 才能完成 MySQL → ES 的增量同步;跳过 adapter 直接用 canal-server 是无效的。

MySQL 必须开启 ROW 格式 Binlog 并授权 canal 用户

Canal 依赖 MySQL 的 binlog 日志流,且只支持 ROW 格式 —— STATEMENT 或 MIXED 会导致解析失败或数据丢失。

  • 修改 /etc/my.cnf(或你的 MySQL 配置路径),确保包含以下三项:
[mysqld]
log-bin=mysql-bin
binlog-format=ROW
server_id=1

注意:server_id 不能为 0,也不能和 canal 的 slaveId 冲突(默认是 1234,可在 instance.properties 中改)。

  • 创建并授权 canal 用户(RDS 用户可跳过授权,但需确认账号有 REPLICATION SLAVE 权限):
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

常见错误:ERROR 1236 (HY000): Could not find first log file name in binary log index file,通常是配置后没重启 MySQL,或 log-bin 路径不可写。

CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)
CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)

使用内置 Rust 引擎审计待安装的 skill 包或归档,可选桥接外部扫描器。

下载

canal-adapter 同步 ES 需要正确配置 es7.yml(不是 es.yml)

Canal 1.1.5+ 版本起,ES 7.x+ 使用 es7.yml,旧版 es.yml 不兼容 —— 这是同步失败最常被忽略的点。

  • canal-adapter/conf/es7.yml 中关键项必须匹配你的 ES 实例:
esMapping:
  _index: product_index
  _type: _doc   # ES 7.x 已废弃 type,此处必须写 _doc,不能留空或填自定义值
  _id: _id
  pk: id        # 对应 MySQL 表主键字段名
  sql: "SELECT a.id as _id, a.name, a.price, a.status FROM t_product a"
  commitBatch: 3000

注意:sql 中字段别名必须和 ES mapping 字段一致;_id 必须显式映射,否则 ES 会生成随机 ID,导致重复文档。

  • ES 连接地址写法必须带协议和端口,例如:http://es-cn-xxx.elasticsearch.aliyuncs.com:9200;若用 HTTPS,需额外配置 sslEnabled: true 并挂载证书。

启动顺序和日志排查要点

Canal 同步链路是:MySQL → canal-server → canal-adapter → ES。任一环节断开都会静默失败,必须逐层确认。

  • 先启动 canal-server,检查 logs/canal/canal.log 是否出现 Start CanalController successfully;再看 logs/example/example.log 是否有 connect to mysql success 和持续的 parse event 日志。
  • 再启动 canal-adapter,重点看 logs/adapter/adapter.log 中是否有 Es7SyncService sync start 和 commit to es 成功记录;若只有 load table mapping... 却无后续,说明 SQL 没触发变更或表名大小写不匹配(Linux 下表名默认区分大小写)。
  • ES 端用 GET /product_index/_count 验证数据是否写入;若数量为 0,立刻查 adapter.log 最近 10 行,找 java.net.ConnectException 或 MapperParsingException —— 前者是连不上 ES,后者多因字段类型冲突(如 MySQL 的 datetime 映射到 ES 的 text 字段)。

真实环境中最容易卡在 adapter 的 SQL 映射和 ES 字段类型对齐上,尤其是时间字段、JSON 字段、NULL 值处理;不要依赖自动 mapping,务必提前在 ES 中用 PUT /product_index 定义好明确的 date、keyword、float 类型。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

457

2023.08.15

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

1000

2023.09.08

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

3552

2023.09.19

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

1156

2023.10.09

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

1029

2023.10.17

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

554

2023.10.17

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

3276

2023.10.18

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

6212

2023.10.20

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

80

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 196人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn