Redis的异步机制是什么-Redis-PHP中文网

Redis的异步机制是什么

王林

发布： 2023-06-01 20:14:40

转载

1132人浏览过

一、Redis 的阻塞点

和 redis 实例交互的对象，以及交互时会发生的操作：

客户端：网络 IO，键值对增删改查操作，数据库操作；
磁盘：生成 RDB 快照，记录 AOF 日志，AOF 日志重写；
主从节点：主库生成、传输 RDB 文件，从库接收 RDB 文件、清空数据库、加载 RDB 文件；
切片集群实例：向其他实例传输哈希槽信息，数据迁移。

4 类交互对象和具体的操作之间的关系：

Redis的异步机制是什么

和客户端交互时的阻塞点：

网络 IO 有时候会比较慢，但是 Redis 使用了 IO 多路复用机制，避免了主线程一直处在等待网络连接或请求到来的状态，所以网络 IO 不是导致 Redis 阻塞的因素。

Redis 主线程的主要任务是执行与客户端交互的键值对的增删改查操作。复杂度高的增删改查操作肯定会阻塞 Redis。

判断操作复杂度高低的标准：看操作的复杂度是否为 O(N)。

Redis 的第一个阻塞点：集合全量查询和聚合操作：

Redis 中涉及集合的操作复杂度通常为 O(N)，使用时需重视起来。
例如集合元素全量查询操作 HGETALL、SMEMBERS，以及集合的聚合统计操作，例如求交、并和差集。

Redis 的第二个阻塞点 :bigkey 删除操作

集合自身的删除操作同样也有潜在的阻塞风险。删除操作的本质是要释放键值对占用的内存空间。释放内存只是第一步，为了更加高效地管理内存空间，在应用程序释放内存时，操作系统需要把释放掉的内存块插入一个空闲内存块的链表，以便后续进行管理和再分配。

这个过程本身需要一定时间，而且会阻塞当前释放内存的应用程序，如果一下子释放了大量内存，空闲内存块链表操作时间就会增加，相应地就会造成 Redis 主线程的阻塞。

释放大量内存的时机：在删除大量键值对数据的时候，删除包含了大量元素的集合，也称为 bigkey 删除。

不同元素数量的集合在进行删除操作时所消耗的时间：

Redis的异步机制是什么

得出三个结论：

当元素数量从 10 万增加到 100 万时，4 大集合类型的删除时间的增长幅度从 5 倍上升到了近 20 倍；
集合元素越大，删除所花费的时间就越长；
删除一个包含100万个元素的集合时，Hash类型的最大删除时间已经达到了1.98秒的绝对值。一般情况下，Redis 响应时间在微秒级别，但如果某个操作需要近2秒的执行时间，则会阻塞主线程，这是无法避免的。

Redis 的第三个阻塞点：清空数据库

既然频繁删除键值对都是潜在的阻塞点了，在 Redis 的数据库级别操作中，清空数据库（例如 FLUSHDB 和 FLUSHALL 操作）也是一个潜在的阻塞风险，因为它涉及到删除和释放所有的键值对。

Redis 的第四个阻塞点：AOF 日志同步写

磁盘 IO 一般都是比较费时费力的，需要重点关注。 Redis 开发者早已认识到磁盘 IO 会带来阻塞，所以把 Redis 设计为采用子进程的方式生成 RDB 快照文件、执行 AOF 日志重写操作。由子进程负责执行，慢速的磁盘 IO 就不会阻塞主线程了。

如果 Redis 直接记录 AOF 日志，它会利用不同的写入策略将数据写入磁盘。一个同步写磁盘的操作的耗时大约是 1～2ms，如果有大量的写操作需要记录在 AOF 日志中，并同步写回的话，会阻塞主线程。

Redis 的第五个阻塞点：从库加载 RDB 文件

在主从集群中，主库需要生成 RDB 文件，并传输给从库。

主库在复制的过程中，创建和传输 RDB 文件都是由子进程来完成的，不会阻塞主线程。
但是从库在接收了 RDB 文件后，需要使用 FLUSHDB 命令清空当前数据库，正好撞上了第三个阻塞点。

从库在清空当前数据库后，需要把 RDB 文件加载到内存，这个过程的快慢和 RDB 文件的大小密切相关，RDB 文件越大，加载过程越慢。

切片集群实例交互时的阻塞点

部署 Redis 切片集群时，每个 Redis 实例上分配的哈希槽信息需要在不同实例间进行传递，当需要进行负载均衡或者有实例增删时，数据会在不同的实例间进行迁移。不过哈希槽的信息量不大，而数据迁移是渐进式执行的，这两类操作对 Redis 主线程的阻塞风险不大。

如果使用了 Redis Cluster 方案，而且同时正好迁移的是 bigkey 的话，就会造成主线程的阻塞，因为 Redis Cluster 使用了同步迁移。

五个阻塞点：

集合全量查询和聚合操作；
bigkey 删除；
清空数据库；
AOF 日志同步写；
从库加载 RDB 文件。

二、可以异步执行的阻塞点

为了避免阻塞式操作，Redis 提供了异步线程机制：

Redis 会启动一些子线程，然后把一些任务交给这些子线程，让它们在后台完成，而不再由主线程来执行这些任务。可以避免阻塞主线程。

异步执行对操作的要求：

一个能被异步执行的操作并不是 Redis 主线程的关键路径上的操作（客户端把请求发送给 Redis 后，等着 Redis 返回数据结果的操作）。

Redis的异步机制是什么

主线程接收到操作 1 后，操作 1 并不用给客户端返回具体的数据，主线程可以把它交给后台子线程来完成，同时只要给客户端返回一个“OK”结果就行。
在子线程执行操作 1 的时候，客户端又向 Redis 实例发送了操作 2，客户端是需要使用操作 2 返回的数据结果的，如果操作 2 不返回结果，那么客户端将一直处于等待状态。

操作 1 就不算关键路径上的操作，因为它不用给客户端返回具体数据，所以可以由后台子线程异步执行。
操作 2 需要把结果返回给客户端，它就是关键路径上的操作，所以主线程必须立即把这个操作执行完。

Redis 读操作是典型的关键路径操作，因为客户端发送了读操作之后，就会等待读取的数据返回，以便进行后续的数据处理。而 Redis 的第一个阻塞点“集合全量查询和聚合操作”都涉及到了读操作，不能进行异步操作。
不需要将具体的数据结果返回给客户端的删除操作不属于关键路径操作。"Both 'bigkey deletion' and 'database clearance' involve deleting data, but they are not on the critical path."。可以使用后台子线程来异步执行删除操作。
“AOF 日志同步写”，为了保证数据可靠性，Redis 实例需要保证 AOF 日志中的操作记录已经落盘，这个操作虽然需要实例等待，但它并不会返回具体的数据结果给实例。所以可以启动一个子线程来执行 AOF 日志的同步写。
为了向客户端提供数据存取服务，必须加载完整的 RDB 文件。这个操作也属于关键路径上的操作，必须让从库的主线程来执行。

除了“集合全量查询和聚合操作”和“从库加载 RDB 文件”，其他三个阻塞点涉及的操作都不在关键路径上，可以使用 Redis 的异步子线程机制来实现 bigkey 删除，清空数据库，以及 AOF 日志同步写。