Spring异步线程池任务积压及数据保存不规律的排查与解决

您在使用Spring异步特性时，通过newScheduledThreadPool创建了一个线程池，并用scheduleWithFixedDelay方法安排任务每5秒执行一次，目标是每5秒将数据保存到Redis。然而，当线程数达到5时，任务开始堆积，队列达到最大值后触发拒绝策略，导致数据保存变得不规律，甚至出现每秒保存一次的情况。

优化方案

针对上述问题，以下方案可供参考：

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

• 单线程有界队列： 建立一个小型线程池，核心线程数和最大线程数均为1，队列容量也设置为1。这样，每次仅执行一个任务，队列最多只存储一个任务，避免任务堆积。

• 充分利用Spring异步支持： 使用@EnableAsync注解启用Spring异步支持，并用@Async注解标记异步方法。通过配置异步处理器的线程池属性（线程数、队列大小、拒绝策略），精细化控制线程池行为。

• 临时数据缓存： 在方法中使用Set等集合临时存储数据，再利用定时任务定期将集合中的数据批量写入Redis。此方案能有效避免线程池的持续高负载，从而解决数据保存不规律的问题。

选择合适的方案需根据实际应用场景和数据量进行权衡。 建议优先考虑Spring提供的异步支持，并根据实际情况调整线程池参数。 如果数据量较小，单线程方案也能有效解决问题。