讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

如何解决 MySQL 轮询中无法获取新数据的问题

秋芳酱_9128

秋芳酱_9128

发布时间:2026-04-13 14:31:03

|

868人浏览过

|

来源于php中文网

原创

python 使用 mysql-connector-python 轮询 mysql 时,首次查询能返回结果,后续却始终为空——根本原因在于游标未显式获取数据且连接复用导致事务隔离或结果集缓存问题,需正确管理游标生命周期与连接状态。

python 使用 mysql-connector-python 轮询 mysql 时,首次查询能返回结果,后续却始终为空——根本原因在于游标未显式获取数据且连接复用导致事务隔离或结果集缓存问题,需正确管理游标生命周期与连接状态。

在构建数据库轮询服务(如监听遗留系统表并同步至新系统)时,一个常见但隐蔽的问题是:查询逻辑看似正确,却只能在首次执行时获取到数据,后续轮询永远返回空结果,即使目标表已被其他进程真实插入并提交了新记录。这并非数据库未更新,而是客户端连接层的行为导致的“假性失联”。

根本原因分析

你的代码中存在两个关键问题:

  1. get_records() 方法仅创建并执行了 SQL,但未调用 fetchall() / fetchone() 等方法实际提取结果

    cursor.execute(sql)
    return cursor  # ❌ 返回未取数的游标

    当你在 for result in source.get_records(): 中遍历时,Python 会尝试对游标对象进行迭代——这虽在 mysql-connector 中被支持,但其行为依赖于内部结果集缓冲状态。更严重的是,若前一次查询未完全消费结果(例如中途异常退出),游标可能处于不可重用状态;而复用同一连接时,未关闭的旧结果集会阻塞新查询的可见性。

  2. 长连接 + 自动提交关闭(默认) → 隐式事务隔离影响可见性
    mysql-connector-python 默认启用 autocommit=False。这意味着每次 SELECT 实际运行在一个隐式事务中。根据 MySQL 的 RR(Repeatable Read)隔离级别,事务启动时刻的快照将被复用——即使其他连接已提交新数据,当前连接的后续 SELECT 仍读取初始快照,导致“看不见新行”。

    win可用的mysql指令skill
    win可用的mysql指令skill

    安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。

    下载

✅ 验证方式:在 MySQL 客户端执行 SELECT @@tx_isolation;,通常为 REPEATABLE-READ;再执行 SELECT @@autocommit;,通常为 OFF。

正确实现方案(推荐)

✅ 方案一:启用自动提交 + 显式获取结果(最简可靠)

class Source(Mysql_DB):
    def get_records(self):
        if not self.is_connected():
            return []

        # 关键:确保 autocommit 开启,使每次 SELECT 独立读取最新快照
        self.connection.autocommit = True

        cursor = self.connection.cursor(buffered=True)
        try:
            sql = """
                SELECT id, inspection_data 
                FROM `1730_Vantage` 
                WHERE part_fail = 1 
                  AND posted_in_GFxPRoduction = 0 
                  AND created_at > '2023-06-01'
                ORDER BY created_at DESC
            """
            cursor.execute(sql)
            # ✅ 必须显式获取全部结果,避免游标残留状态
            results = cursor.fetchall()
            return results
        finally:
            cursor.close()  # 及时释放游标资源

主循环调整:

while True:
    records = source.get_records()  # 直接获取 list of tuples
    if not records:
        time.sleep(10)
        continue

    for (id, data) in records:
        # ... 处理逻辑(解析、写入目标库、更新标记字段)
        success = source.update_record(id, created_at)
        if not success:
            raise Exception(f"Failed to update id {id}")

    # 注意:无需 close connection!连接保持复用,高效且安全

✅ 方案二:手动控制事务(适合需要原子性更新场景)

若 update_record() 需与 SELECT 在同一事务中保证一致性(如防止并发重复处理),则应显式开启事务,并在每次轮询后 COMMIT:

def get_records(self):
    if not self.is_connected():
        return []

    self.connection.autocommit = False  # 关闭自动提交
    cursor = self.connection.cursor(buffered=True)
    try:
        cursor.execute("START TRANSACTION")
        cursor.execute(sql)
        results = cursor.fetchall()
        # 注意:此处不 commit,留给后续 update_record() 统一提交
        return results
    except Exception:
        self.connection.rollback()
        raise
    finally:
        cursor.close()

def update_record(self, id, created_at):
    cursor = self.connection.cursor()
    try:
        cursor.execute(
            "UPDATE `1730_Vantage` SET posted_in_GFxPRoduction = 1 WHERE id = %s",
            (id,)
        )
        self.connection.commit()  # ✅ 提交后,下一轮 SELECT 才能看到新快照
        return cursor.rowcount > 0
    finally:
        cursor.close()

关键注意事项

  • 不要在循环中反复 close() 连接:虽然 source.connection.close() 能“临时修复”,但频繁建连/断连极大降低性能,且掩盖了根本问题。
  • buffered=True 是必要的:它确保 fetchall() 将全部结果加载到内存,避免后续 SELECT 因未读完前序结果而阻塞。
  • 避免 with 块误用:with cursor: 会在退出时自动 close(),但若你返回的是已关闭游标,后续迭代必然失败。直接 try/finally 显式管理更可控。
  • 时间字段比较要谨慎:created_at > "2023-06-01" 若字段含时分秒,建议使用 >= '2023-06-01 00:00:00' 避免边界遗漏。

总结

轮询失效的本质,是 MySQL 连接层的状态管理与事务隔离机制共同作用的结果。解决的核心在于两点:(1)确保每次查询都完整获取结果并清理游标;(2)通过 autocommit=True 或显式 COMMIT 保证每次 SELECT 读取数据库最新状态。遵循上述实践,即可在保持连接复用的前提下,实现稳定、低延迟、高可靠的轮询同步服务。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4943

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1011

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1289

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

7001

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3663

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6980

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

9741

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1330

2024.04.29

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 196人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn