java - 更新服务器缓存如何合并相同请求？

Question

我们有一个布置了多台的服务，服务从 redis 集群中获取数据，一个 key 对应一个 value ，如果没有，则会从三方接口获取并进行计算后先返回给调用方再写入缓存。三方接口的响应时间大概 2s

现在有一个问题是，三方接口是收费的，如果此时多个请求同时到达而且计算出来的 key 都相同，会都发现缓存没有，而都会去调用第三方接口。这很浪费资源,因为只需要调用三方接口一次就够了。在服务本身对请求做合并的方式效果并不好，因为服务布了多台。

如何能 hold 住这些其实在请求一个资源的多个请求链接，只出发一次更新缓存的逻辑，然后在数据返回后，统一还给它们。

Answer 1

1. 使用中央服务从第三方接口获取数据，所有的应用都直接从redis中获取数据

2. 同步锁，保证同时只有一个地方调用第三方接口，可以使用双重检查(double check)redis中的数据

Answer 2

类似 @kevinz 的中央服务的做法，增加一个代理，所有服务都是通过代理调用第三方接口，并保证同时只有一个调用

Answer 3

果断用队列啊, 在你的redis集群和外部服务之间加一个frontend节点, 在此节点上部署队列服务, 所有从集群取key的请求全扔到队列中, 应该能hold住这种同时进来多个请求的情形