讲师中心 微信公众号
AI工具推荐 视频效率加速

MySQL迁移任务中的数据流向监控_使用流量分析工具排查

星敏君_4200

星敏君_4200

发布时间:2026-03-30 08:38:08

|

521人浏览过

|

来源于php中文网

原创

主从复制流量突增但延迟不涨,大概率是代理或应用直连从库读取、或从库被误写入;INSERT ... SELECT 和 LOAD DATA LOCAL INFILE 会绕过复制监控并放大负载。

mysql迁移任务中的数据流向监控_使用流量分析工具排查

MySQL主从复制流量突增但延迟不涨,SHOW SLAVE STATUS 看不出问题?

这种情况大概率是网络层或中间件在“悄悄转发”流量,比如代理(ProxySQL、MaxScale)或应用直连了从库做读请求,而监控只盯着复制线程本身。复制延迟低 ≠ 从库负载低,更不等于数据流向受控。

实操建议:

  • 用 tcpdump 抓取从库 3306 端口的入向流量,过滤非复制线程来源: tcpdump -i any port 3306 and not host [主库IP]
  • 检查 information_schema.PROCESSLIST 中非 system user 的连接,重点关注 Host 字段是否大量来自应用服务器而非主库
  • 确认是否有 read_only=OFF 的从库被误写入,这类写入不会进复制流,但会污染数据一致性

用 pt-query-digest 分析慢日志时发现大量 INSERT ... SELECT,但业务没这么用?

迁移过程中常有人用 INSERT INTO t1 SELECT * FROM t2 类语句批量导数据,这类操作在源库记为一条语句,但在从库会放大成逐行写入,极易打满 IO 和复制线程。更麻烦的是,它不触发 binlog_row_image=FULL 的完整镜像,可能让基于行的复制丢失上下文。

实操建议:

  • 在源库开启 binlog_rows_query_log_events=ON,让 mysqlbinlog 能还原原始语句,方便定位是谁在跑这类操作
  • 检查 SHOW VARIABLES LIKE 'binlog_row_image',迁移期间建议设为 FULL,避免 UPDATE/DELETE 因缺失旧值导致从库校验失败
  • 禁用从库的 sql_log_bin=0 临时写入后,务必手动补 binlog 或跳过事件,否则后续 DDL 可能卡住

Wireshark 里看到大量 COM_QUERY 包含 LOAD DATA INFILE,但 MySQL 错误日志没报错?

LOAD DATA INFILE 在主从架构中默认被禁止(secure_file_priv 不同 + 从库 read_only),但如果客户端走的是 LOAD DATA LOCAL INFILE,它实际由客户端读文件、分片发 INSERT,服务端根本看不到“文件路径”,也就不会校验权限——这种行为绕过所有服务端管控,且无法被 binlog 完整记录。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

实操建议:

  • 在客户端连接参数中显式加 (JDBC)或禁用 <code>local_infile(MySQL CLI)
  • 用 mysqlbinlog --base64-output=DECODE-ROWS -v 检查对应时间段 binlog,若只有零散 INSERT 而无原始 LOAD 命令,基本可锁定是 LOCAL 版本
  • 迁移任务中统一改用 mysqldump --tab + mysqlimport,确保路径、权限、格式全程可控

Fluentd / Filebeat 收集 MySQL 日志后,字段 event_time 和 server_id 对不上时间线?

MySQL 的 general_log / slow_log 时间戳是语句开始执行时间,而 binlog event timestamp 是写入 binlog 缓冲区的时间,两者在高并发下可能差几十毫秒;更关键的是,server_id 在 relay log 里会被从库重写,原始 source server_id 仅保留在主库 binlog 中。

实操建议:

  • 不要依赖日志采集工具自带的 @timestamp,必须提取 MySQL 日志行内的 # Time: 或 # Query_time: 字段做时间对齐
  • 跨实例追踪时,用 SELECT @@server_id, @@hostname 手动打标每个节点,别信配置文件里的注释
  • 如果用 pt-heartbeat 监控延迟,确保它的表建在 mysql 库下,否则某些代理会拦截跨库写入,造成假延迟

真正难的不是抓到哪条 SQL 在跑,而是确认它从哪来、经过了谁、有没有被改写、时间戳以谁为准——这些细节一漏,监控图就变成幻觉。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2193

2023.06.20

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

1339

2023.06.21

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

775

2023.07.18

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2992

2023.07.19

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

5028

2023.07.25

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

1139

2023.08.08

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5291

2023.08.11

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

4642

2023.08.14

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

80

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 183人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn