讲师中心 微信公众号
AI工具推荐 视频效率加速

Spring WebFlux 中高效实现非规范化数据的流式分组与 DTO 转换

陌伟君_5046

陌伟君_5046

发布时间:2025-12-26 13:32:03

|

160人浏览过

|

来源于php中文网

原创

Spring WebFlux 中高效实现非规范化数据的流式分组与 DTO 转换

在 spring webflux 响应式编程中,针对数据库返回的重复用户记录(因多部门导致的笛卡尔展开),可通过 `groupby` + `collectlist` 非阻塞地完成按用户 id 分组、聚合部门信息并构建嵌套 dto 的全流程。

在使用 Spring WebFlux 访问 PostgreSQL 等关系型数据库时,若实体表为非规范化设计(例如一个用户对应多个部门,以多行形式冗余存储),findAllUsersByIds() 会返回多个 User 实例(如 ID=1 的用户出现 3 次,分别关联不同 department)。此时直接 .map(mapper::mapUserDTO) 会导致每个记录独立转成一个 UserDTO,无法满足「一个用户仅返回一个 DTO,且其 departmentDTO 字段为该用户全部部门列表」的业务需求。

关键在于:必须在响应式流中完成去重分组 + 列表聚合 + 嵌套映射,全程不调用任何阻塞操作(如 block()、toFuture().get())。推荐方案如下:

Flux<UserDTO> userDTOS = userRepo.findAllUsersByIds()
    .groupBy(User::getId) // 按用户 ID 分组,返回 Flux<GroupedFlux<Integer, User>>
    .flatMap(group -> 
        group.collectList() // 将每个分组内的 User 收集为 List<User>(非阻塞)
            .map(users -> {
                User first = users.get(0);
                UserDTO dto = new UserDTO();
                dto.setId(first.getId());
                dto.setName(first.getName());
                dto.setDepartmentDTO(
                    users.stream() // 此处 stream 是纯内存操作,安全
                        .map(user -> {
                            DepartmentDTO deptDto = new DepartmentDTO();
                            deptDto.setName(user.getDepartment());
                            deptDto.setArea(user.getDepartmentArea());
                            return deptDto;
                        })
                        .toList()
                );
                return dto;
            })
    );

✅ 优势说明:

Upload audio to AIOZ Stream
Upload audio to AIOZ Stream

快速上传音频至 AIOZ Stream API。支持默认或自定义编码配置创建音频对象,上传文件并完成处理后返回音频链接。

下载
  • groupBy 是响应式原生操作,底层基于 ConcurrentHashMap 和背压感知的分组缓冲,无线程阻塞;
  • collectList() 是 Mono<List<T>> 转换,适用于已知有限分组规模的场景(如单个用户部门数通常 < 100),性能稳定;
  • stream().map(...).toList() 发生在 map 内部,属于 CPU-bound 纯内存计算,不影响响应式链路的异步性;
  • 整体仍保持 Flux<UserDTO> 输出,可无缝接入 WebFlux 的 @GetMapping 返回值或后续 filter/flatMap 操作。

⚠️ 注意事项:

  • 若存在大量用户(如百万级)且部分用户部门数极高(如上千),collectList() 可能引发内存压力,此时建议配合 .limitRate(n) 或改用 reduce 进行增量构建;
  • 确保 User::getId 返回值稳定(不可为 null),否则 groupBy 会抛出 NullPointerException;
  • 如需保持原始查询顺序(如按 ID 升序),groupBy 本身不保证分组间顺序,但各分组内元素顺序与源 Flux 一致;若需全局有序,应在 groupBy 前使用 sort(Comparator.comparing(User::getId))(注意:sort 会缓冲全部数据,慎用于大数据量)。

通过该模式,你既满足了 REST API 对扁平化输入、嵌套化输出的 DTO 设计规范,又完全遵循了 WebFlux 的非阻塞、背压友好原则,是响应式数据聚合的经典实践。

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2671

2025.08.06

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

477

2026.01.26

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1698

2024.03.01

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

1138

2023.09.04

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4358

2023.08.10

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

610

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

343

2025.11.16

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn