java - 如何处理底端上送的重复数据呢？

Question

底端会不断上送数据（有时上送重复数据），现需实现清除重复数据并记录日志功能，最先想到的方法是：不对上送数据作出判断，直接向数据库中insert，若出现Duplicate Key Violation表明数据重复会抛出异常，然后在catch中通过e.getStackTrace()判断该异常是否由主键重复引起，然后写日志。

但总觉得这种方式不太对劲，毕竟程序已经抛出异常了...各位前辈是如何解决类似问题的呢？

Answer 1

上送重复数据是在一段时间内发生的话，比如一个小时以内，两个小时以内，我一般会用 redis 来配合处理，

将当期的数据 md5 一次，存入 redis 同时设置失效时间，

后面上来的数据都md5一下，去 redis 里面查询，用这种方式来去重

Answer 2

1、正确做法是在业务机中把日志进行去重 而不是把压力丢给数据库。
去完重后插入数据。

2、如果你想简单点 全部都给数据库处理。
先select查看将要插入的数据在不在库中,如果不在就插入,如果在就跳过。

Answer 3

我一般的处理方式：
1.重复数据比例少的情况就可以采用你用的这个方式。
2.重复数据比例多：

A：总数据少：先查询是否有重复，判断后处理
B：总数据多：
    a：表写频率低：如果是用Mysql用replace，覆盖，Mongodb也可以用upsert
    b：表写频率高：不拒绝插入，也就是不设置唯一键，全部接纳，在提取数据的时候再做判断。