java - Mysql 避免多个线程扫描到的相同数据进行多次处理
黄舟
黄舟 2017-04-17 17:59:39
[Java讨论组]

业务场景:比如开2个线程去1张表读取数据,然后对读到的数据进行一些异步处理(业务上要求不能在同一条数据,比如id作为主键,值都一样,上执行两次异步处理),现在问题来了,如何保证如果读到相同的数据,只处理一次(不管是从数据库层面还是代码层面进行控制)?

要效率尽可能高的方式

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全部回复(2)
黄舟

上队列吧,如果自己实现java的queue我没尝试过,考虑以下两个:

redis生产者消费模式
gearmean

各有优劣,你了解下!

黄舟

1.使用数据预加载或懒加载机制,读取一批待处理数据,记录当前读取到的最大ID值,下次取数从此位置往下读取
2.将待处理的数据放入执行数据队列,在队列数据下降到一定比例后,在预加载一批数据放入队列
3.多个线程读取数据并发处理,处理完毕后更新回数据库
4.必要的时候可以在取数据时更新数据的读取标志信息,放置被其它机器重复读取

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号