扫码关注官方订阅号
业务场景:比如开2个线程去1张表读取数据,然后对读到的数据进行一些异步处理(业务上要求不能在同一条数据,比如id作为主键,值都一样,上执行两次异步处理),现在问题来了,如何保证如果读到相同的数据,只处理一次(不管是从数据库层面还是代码层面进行控制)?
要效率尽可能高的方式
人生最曼妙的风景,竟是内心的淡定与从容!
上队列吧,如果自己实现java的queue我没尝试过,考虑以下两个:
redis生产者消费模式gearmean
各有优劣,你了解下!
1.使用数据预加载或懒加载机制,读取一批待处理数据,记录当前读取到的最大ID值,下次取数从此位置往下读取2.将待处理的数据放入执行数据队列,在队列数据下降到一定比例后,在预加载一批数据放入队列3.多个线程读取数据并发处理,处理完毕后更新回数据库4.必要的时候可以在取数据时更新数据的读取标志信息,放置被其它机器重复读取
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
上队列吧,如果自己实现java的queue我没尝试过,考虑以下两个:
redis生产者消费模式
gearmean
各有优劣,你了解下!
1.使用数据预加载或懒加载机制,读取一批待处理数据,记录当前读取到的最大ID值,下次取数从此位置往下读取
2.将待处理的数据放入执行数据队列,在队列数据下降到一定比例后,在预加载一批数据放入队列
3.多个线程读取数据并发处理,处理完毕后更新回数据库
4.必要的时候可以在取数据时更新数据的读取标志信息,放置被其它机器重复读取