高效筛选与同步海量热点数据

大规模数据同步中，如何高效筛选和同步热点数据至关重要。例如，系统间通过通知和定时轮询同步账户流水，频繁的轮询导致大量无数据账户的同步，加重上游系统负担。本文提出一种优化方案，通过识别变动账户来提升效率。

最初方案考虑使用Redis缓存（zset或set）存储账户，并设置TTL和LRU淘汰策略。但由于账户数量巨大，可能面临bigkey问题，且LRU策略效果难以评估，缓存过载时与全量查询无异。

Sentinal Redis

监控Redis服务器健康状况、内存、性能及BullMQ队列。检查队列深度、失败任务，分析慢查询并诊断问题。

下载

改进方案的核心在于识别自上次同步后发生变动的账户。通过上游系统提供的接口，获取指定时间点后变动账户ID列表（例如，基于update_time查询）。

仅同步列表中的账户，即可避免无效查询，显著提升同步效率，同时减轻上游系统压力，实现热点数据的高效筛选和同步。