讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

如何利用SQL Server的变动数据捕获(CDC)同步UPDATE结果?

夜磊君_1396

夜磊君_1396

发布时间:2026-06-08 10:37:20

|

248人浏览过

|

来源于php中文网

原创

CDC中UPDATE操作默认生成两行($operation=3和4),需用row_filter_option或net_changes函数控制;源表必须有主键或唯一索引,LSN范围须严格递进,且需解析$update_mask避免误写NULL。

如何利用sql server的变动数据捕获(cdc)同步update结果?

UPDATE操作在CDC中实际生成两行记录

CDC对UPDATE的捕获不是“一行新值”,而是把更新前后的状态都保留下来:旧值行的__$operation为3,新值行为4。这意味着直接查cdc.fn_cdc_get_all_changes_*默认返回两行,不加筛选会重复处理或写入失败。

常见错误现象是同步程序把同一笔UPDATE当成两次独立变更,导致目标库主键冲突或数据错乱。关键在于区分“变更事件”和“变更后快照”——CDC提供的是前者,你得自己选后者。

  • 用row_filter_option = 'all update old'可强制只取新值(__$operation = 4),但注意这会丢弃旧值,无法做字段级比对
  • 若需判断哪些字段被改过,必须同时读__$operation = 3和=4两行,再用JOIN或LAG()比对列值
  • supports_net_changes = 1启用时,系统会额外生成cdc.fn_cdc_get_net_changes_*函数,它自动合并UPDATE为单行(仅含最终值),但要求表有主键或唯一索引

必须确保源表有主键或唯一约束

没有主键的表启用CDC后,cdc.fn_cdc_get_net_changes_*函数会报错:Msg 313, Level 16, State 3, Line 1: An insufficient number of arguments were supplied for the procedure or function cdc.fn_cdc_get_net_changes_...。这不是权限问题,是CDC底层依赖唯一标识定位“同一行的多次变更”。

即使你只用all模式查所有变更,没主键也会让同步逻辑脆弱:UPDATE前后两行无法可靠关联,id字段相同但其他列可能因并发修改而无法归因。

  • 添加主键:如ALTER TABLE dbo.t_cdc_ta ADD CONSTRAINT PK_t_cdc_ta PRIMARY KEY (id);
  • 若不能改表结构,可用唯一索引替代:CREATE UNIQUE INDEX UX_t_cdc_ta_id ON dbo.t_cdc_ta(id);
  • 检查是否就绪:SELECT OBJECTPROPERTY(OBJECT_ID('dbo.t_cdc_ta'), 'TableHasPrimaryKey')返回1才安全

LSN范围控制是避免漏同步或重复同步的核心

CDC不提供“上次同步时间”这种直观标记,全靠日志序列号(LSN)推进。每次调用cdc.fn_cdc_get_all_changes_*必须传from_lsn和to_lsn,且to_lsn必须来自sys.fn_cdc_get_max_lsn(),否则可能跳过未提交的变更。

典型陷阱是把to_lsn设成固定值或用GETDATE()模拟时间窗口——LSN不是时间戳,它按事务提交顺序严格递增,跨服务器/跨库不可比。

  • 首次同步:用sys.fn_cdc_get_min_lsn('capture_instance_name')作起点
  • 后续同步:上一轮返回的__$start_lsn最大值 + 1,作为下一轮from_lsn
  • 务必在查询后立即保存最新to_lsn(用sys.fn_cdc_get_max_lsn()),避免代理作业清理掉未读LSN

UPDATE同步时别忽略__$update_mask位图

当只捕获部分列(通过@captured_column_list指定)时,__$update_mask告诉你本次UPDATE实际改了哪些列。它是varbinary(128),每一位对应一个捕获列,值为1表示该列被更新过。

例如表有name、addr、ttime三列被捕获,某次UPDATE只改了name,则__$update_mask二进制为001(低位在右)。不检查这个,容易把NULL覆盖原值——比如addr没变却被同步为NULL。

  • 解析方法:CASE WHEN SUBSTRING(__$update_mask, 1, 1) & 1 = 1 THEN name END逐列判断
  • 更稳妥的做法:同步SQL中用COALESCE(new.name, old.name),前提是能关联到旧值行
  • 如果业务允许,启用CDC时直接省略@captured_column_list,捕获全量列,避开位图解析复杂度

LSN推进逻辑和__$update_mask解析是UPDATE同步里最容易被跳过的两步,跳过它们,同步看起来跑通了,但数据一致性会在某次并发更新后突然崩塌。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6571

2023.08.11

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

3105

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

4181

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

3491

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

1087

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

3047

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

3027

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

2993

2023.10.16

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn