讲师中心 微信公众号
AI工具推荐 视频效率加速

Java中基于ID高效合并多个数据集并累加字段值的完整教程

冬强酱_4056

冬强酱_4056

发布时间:2026-02-05 18:46:18

|

994人浏览过

|

来源于php中文网

原创

Java中基于ID高效合并多个数据集并累加字段值的完整教程

本文介绍一种内存友好、时间复杂度为o(n)的java方案,使用hashmap按id索引并聚合多个sheet中的data对象,自动汇总amount1/amount2/amount3字段,确保所有id不丢失。

在实际业务场景(如Excel多表合并、报表聚合、ETL预处理)中,我们常需将多个来源的结构化数据(如不同Sheet)按唯一标识(如id)进行横向合并,并对数值字段做累加(sum)。若采用嵌套循环逐个查找匹配ID,时间复杂度将升至O(n²),且易遗漏或重复。更优解是利用哈希表实现单次遍历聚合——即以id为键构建累加缓存,边读边合并。

以下为推荐实现(已适配Lombok注解,兼容@Data和构造器):

import java.util.*;

public class DataMerger {

    public static List<Data> mergeSheetsBySum(Map<String, List<Data>> sheetMap) {
        // 使用 ID 作为 key,避免重复创建对象;value 存储当前累计的 Data 实例
        Map<Integer, Data> accumulator = new HashMap<>();

        // 遍历每个 Sheet(如 "sheet1", "sheet2", "sheet3")
        for (List<Data> dataList : sheetMap.values()) {
            for (Data data : dataList) {
                int id = data.getId();

                if (accumulator.containsKey(id)) {
                    // 已存在:累加各 amount 字段
                    Data existing = accumulator.get(id);
                    existing.setAmount1(existing.getAmount1() + data.getAmount1());
                    existing.setAmount2(existing.getAmount2() + data.getAmount2());
                    existing.setAmount3(existing.getAmount3() + data.getAmount3());
                } else {
                    // 首次出现:深拷贝(避免引用原对象导致副作用)
                    accumulator.put(id, Data.builder()
                            .id(data.getId())
                            .amount1(data.getAmount1())
                            .amount2(data.getAmount2())
                            .amount3(data.getAmount3())
                            .build());
                }
            }
        }

        // 转为 List 并返回(顺序不保证,如需有序可转为 TreeMap 或后续排序)
        return new ArrayList<>(accumulator.values());
    }
}

✅ 关键优化点说明:

Excel Report
Excel Report

使用 openpyxl 从 CSV 文件创建格式化的 Excel 报表工作簿。当用户提供或引用 .csv 文件并要求将其转换为 .xlsx 时使用。

下载
  • 时间效率:仅需一次全量遍历(O(N),N为所有Sheet中Data总数),远优于暴力搜索的O(N×M);
  • 内存安全:使用builder()或显式构造新实例,避免修改原始Data对象(尤其当原始列表被复用时);
  • ID完整性:HashMap天然去重+覆盖逻辑,确保任意Sheet中出现的ID均被保留,无遗漏;
  • 扩展友好:若后续增加amount4等字段,只需在累加块中补充一行,无需重构主干逻辑。

⚠️ 注意事项:

立即学习“Java免费学习笔记(深入)”;

  • 若原始Data类未提供Builder或不可变构造器,建议优先补全@Builder或添加带参构造函数;
  • 如需结果按ID升序排列,可在返回前添加:
    return accumulator.values().stream()
            .sorted(Comparator.comparingInt(Data::getId))
            .collect(Collectors.toList());
  • 对于超大数据集(百万级),可考虑ConcurrentHashMap配合并行流(但需注意累加操作的线程安全性,此处简单累加可用compute()方法替代if-else)。

综上,该方案兼顾简洁性、性能与健壮性,是Java中跨数据源ID级聚合的工业级实践范式。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4258

2023.08.10

Python数据处理流水线与ETL工程实战
Python数据处理流水线与ETL工程实战

本专题聚焦 Python 在数据工程场景下的实际应用,系统讲解 ETL 流程设计、数据抽取与清洗、批处理与增量处理方案,以及数据质量校验与异常处理机制。通过构建完整的数据处理流水线案例,帮助开发者掌握数据工程中的性能优化思路与工程化规范,为后续数据分析与机器学习提供稳定可靠的数据基础。

460

2026.02.25

excel对比两列数据异同
excel对比两列数据异同

Excel作为数据的小型载体,在日常工作中经常会遇到需要核对两列数据的情况,本专题为大家提供excel对比两列数据异同相关的文章,大家可以免费体验。

5401

2023.07.25

excel重复项筛选标色
excel重复项筛选标色

excel的重复项筛选标色功能使我们能够快速找到和处理数据中的重复值。本专题为大家提供excel重复项筛选标色的相关的文章、下载、课程内容,供大家免费下载体验。

3376

2023.07.31

excel复制表格怎么复制出来和原来一样大
excel复制表格怎么复制出来和原来一样大

本专题为大家带来excel复制表格怎么复制出来和原来一样大相关文章,帮助大家解决问题。

3140

2023.08.02

excel表格斜线一分为二
excel表格斜线一分为二

在Excel表格中,我们可以使用斜线将单元格一分为二。本专题为大家带来excel表格斜线一分为二怎么弄的相关文章,希望可以帮到大家。

1444

2023.08.02

excel斜线表头一分为二
excel斜线表头一分为二

excel斜线表头一分为二的方法有使用合并单元格功能方法、使用文本框功能方法、使用自定义格式方法。本专题为大家提供excel斜线表头一分为二相关的各种文章、以及下载和课程。

717

2023.08.02

绝对引用的输入方法
绝对引用的输入方法

绝对引用允许在公式中引用一个固定的单元格,而不会随着公式的复制和粘贴而改变引用的单元格。本专题为大家提供绝对引用相关内容的文章,大家可以免费体验。

5148

2023.08.09

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 44.5万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn