如何在 go 中使用 singleflight 库避免并发数据访问

在并发场景中，多个客户端同时请求同一个数据时，可能会导致数据库或缓存的访问量激增。为了解决这个问题，go 语言提供了 singleflight 库来控制并发的请求。

问题描述

在以下代码中，并发获取数据时出现多个请求访问数据库：

package main

import (
  "errors"
  "log"
  "sync"
  "golang.org/x/sync/singleflight"
)

var errornotexist = errors.new("not exist")
var g singleflight.group

func main() {
  var wg sync.waitgroup
  cpu_amount := 4
  wg.add(cpu_amount)

  for i := 0; i < cpu_amount; i++ {
    go func() {
      defer wg.done()
      data, err := getdata("key")
      if err != nil {
        log.print(err)
        return
      }
      log.println(data)
    }()
  }
  wg.wait()
}

func getdata(key string) (string, error) {
  data, err := getdatafromcache(key)
  if err == errornotexist {
    v, err, _ := g.do(key, func() (interface{}, error) {
      return getdatafromdb(key)
    })
    if err != nil {
      log.println(err)
      return "", err
    }
    data = v.(string)
  } else if err != nil {
    return "", err
  }
  return data, nil
}

func getdatafromcache(key string) (string, error) {
  return "", errornotexist
}

func getdatafromdb(key string) (string, error) {
  log.printf("get %s from database", key)
  return "data", nil
}

答案

Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等

下载

在并发场景中，singleflight 库通过 do 方法有效地限制并发请求。但是，为了确保所有并发请求都被限制，需要满足以下条件：

• 所有并发请求都在同一时间执行。
• do 方法中的数据获取操作需要花费一定的时间，从而保证并发请求能够同时达到 do 方法。

文章提供的代码示例中，getdatafromdb 方法仅打印消息并立即返回，导致并发请求无法同时进入 do 方法。因此，singleflight 库没有发挥应有的作用，导致多个请求访问数据库。

为了解决这个问题，可以使用 time.sleep 函数延迟 getdatafromdb 方法中的操作，从而保证并发请求能够同时到达 do 方法。例如：

func getDataFromDB(key string) (string, error) {
  log.Printf("get %s from database", key)
  time.Sleep(time.Millisecond * 500)
  return "data", nil
}

通过这种方法，singleflight 库可以有效地控制并发请求，避免数据库或缓存的访问量激增，从而提高系统性能。