讲师中心 微信公众号
AI工具推荐 视频效率加速

Spring Batch 并行执行多步骤作业的完整实现教程

云杰吖_4352

云杰吖_4352

发布时间:2026-10-21 20:43:03

|

961人浏览过

|

来源于php中文网

原创

Spring Batch 并行执行多步骤作业的完整实现教程

本文详解如何在 Spring Boot 中使用 Spring Batch 的 Split 机制,让步骤 B 和 C 并行执行(多线程),确保步骤 D 仅在二者均成功完成后启动,同时兼容 Quartz 定时调度。

本文详解如何在 spring boot 中使用 spring batch 的 `split` 机制,让步骤 b 和 c 并行执行(多线程),确保步骤 d 仅在二者均成功完成后启动,同时兼容 quartz 定时调度。

在 Spring Batch 中,默认的 next() 链式流程是串行、单线程执行的,无法满足“B 和 C 并行、D 等待两者完成”的拓扑需求。正确解法是引入 Flow.split() + 异步 TaskExecutor,将 B 和 C 封装为两个独立子流(sub-flow),由线程池并发驱动;Spring Batch 内置的 SplitFlow 会自动等待所有分支完成,并聚合 ExitStatus,从而安全触发后续步骤 D。

以下是完整的、可直接运行的 Spring Boot 配置示例(基于 Spring Batch 5.x / Spring Boot 3.x,适配 Jakarta EE 命名空间):

@Configuration
@EnableBatchProcessing
public class BatchJobConfig {

    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    @Autowired
    private DataSource dataSource;

    // ✅ 关键:必须配置异步 TaskExecutor(否则 split 仍串行)
    @Bean
    public TaskExecutor taskExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(4);              // 根据 B/C 资源消耗调整
        executor.setMaxPoolSize(8);
        executor.setQueueCapacity(100);
        executor.setThreadNamePrefix("batch-parallel-");
        executor.setWaitForTasksToCompleteOnShutdown(true);
        executor.setAwaitTerminationSeconds(60);
        executor.initialize();
        return executor;
    }

    // 步骤 A:清空表(JDBC)
    @Bean
    public Step stepA() {
        return stepBuilderFactory.get("stepA")
                .tasklet((contribution, chunkContext) -> {
                    JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource);
                    jdbcTemplate.update("TRUNCATE TABLE target_table");
                    return RepeatStatus.FINISHED;
                }, transactionManager())
                .build();
    }

    // 步骤 B:批量写入(JDBC Chunk)
    @Bean
    public Step stepB() {
        return stepBuilderFactory.get("stepB")
                .<String, String>chunk(2000, transactionManager())
                .reader(jdbcCursorItemReaderB())  // 自定义 reader,例如查 source_table_b
                .writer(jdbcBatchItemWriterB())
                .build();
    }

    // 步骤 C:批量写入(另一数据源或表)
    @Bean
    public Step stepC() {
        return stepBuilderFactory.get("stepC")
                .<String, String>chunk(2000, transactionManager())
                .reader(jdbcCursorItemReaderC())
                .writer(jdbcBatchItemWriterC())
                .build();
    }

    // 步骤 D:PL/SQL 存储过程调用(依赖 B & C 结果)
    @Bean
    public Step stepD() {
        return stepBuilderFactory.get("stepD")
                .tasklet((contribution, chunkContext) -> {
                    JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource);
                    jdbcTemplate.update("CALL process_aggregated_data()");
                    return RepeatStatus.FINISHED;
                }, transactionManager())
                .build();
    }

    // ✅ 构建并行子流:flowB 和 flowC 同时执行
    @Bean
    public Flow parallelBCFlow() {
        return new FlowBuilder<SimpleFlow>("parallelBCFlow")
                .split(taskExecutor())  // ⚠️ 必须传入异步 TaskExecutor
                .add(
                        new FlowBuilder<SimpleFlow>("flowB").start(stepB()).build(),
                        new FlowBuilder<SimpleFlow>("flowC").start(stepC()).build()
                )
                .build();
    }

    // 主 Job:A → (B||C) → D
    @Bean
    public Job demoJob() {
        return jobBuilderFactory.get("demoJob")
                .listener(jobExecutionListener())
                .start(stepA())
                .next(parallelBCFlow())  // ← 替代原来的 .next(B()).next(C())
                .next(stepD())
                .end()
                .build();
    }

    // 其他必要 Bean(省略事务管理器、监听器等,按需补充)
    @Bean
    public PlatformTransactionManager transactionManager() {
        return new DataSourceTransactionManager(dataSource);
    }

    @Bean
    public JobExecutionListener jobExecutionListener() {
        return new JobExecutionListener() {
            @Override
            public void beforeJob(JobExecution jobExecution) {
                System.out.println("▶ Job started: " + jobExecution.getJobInstance().getJobName());
            }
            @Override
            public void afterJob(JobExecution jobExecution) {
                System.out.println("✔ Job completed with status: " + jobExecution.getStatus());
            }
        };
    }

    // 示例 Reader/Writers(简化版,实际需配置 SQL 和映射)
    @Bean
    public JdbcCursorItemReader<String> jdbcCursorItemReaderB() {
        JdbcCursorItemReader<String> reader = new JdbcCursorItemReader<>();
        reader.setDataSource(dataSource);
        reader.setSql("SELECT id FROM source_b WHERE processed = false");
        reader.setRowMapper((rs, i) -> rs.getString("id"));
        return reader;
    }

    @Bean
    public JdbcBatchItemWriter<String> jdbcBatchItemWriterB() {
        JdbcBatchItemWriter<String> writer = new JdbcBatchItemWriter<>();
        writer.setDataSource(dataSource);
        writer.setSql("INSERT INTO target_table (id, source) VALUES (?, 'B')");
        writer.setItemPreparedStatementSetter((item, ps) -> ps.setString(1, item));
        return writer;
    }

    // 类似定义 jdbcCursorItemReaderC / jdbcBatchItemWriterC ...
}

✅ 关键注意事项:

  • TaskExecutor 是并行前提:SplitFlow 默认使用 SyncTaskExecutor(即无并发),必须显式注入 ThreadPoolTaskExecutor 或 SimpleAsyncTaskExecutor;推荐前者以复用线程、避免资源耗尽。
  • 事务隔离:B 和 C 是独立事务(每个 Step 拥有自己 TransactionManager),互不影响;但需确保它们写入的数据对步骤 D 可见(如通过 READ_COMMITTED 隔离级别或显式 commit 后刷新)。
  • Quartz 集成无需额外改动:只要 Quartz 触发的是同一个 JobLauncher 执行 demoJob,并行逻辑完全由 Spring Batch 内部调度,与 Quartz 的单线程 Worker 无关——因为并行发生在 Job 执行内部(即 Quartz 启动一个 Job 实例,该实例内部开启多线程)。
  • 错误处理:若 B 或 C 失败,SplitFlow 会中断整个 Job,stepD() 不会执行;可通过 onFailure() 配置重试或跳过策略(需结合 FaultTolerantStepBuilder)。
  • 监控与日志:建议启用 Spring Batch 的 JobRepository(默认内存或数据库持久化),配合 Actuator /actuator/batch 端点观察各步骤并发状态。

通过以上配置,即可精准实现 A → (B∥C) → D 的执行图谱:步骤 A 单线程完成;B 和 C 在独立线程中并行执行(耗时长者决定整体分支耗时);步骤 D 在二者全部成功提交后才启动,保障业务强一致性。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2591

2025.08.06

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

477

2026.01.26

spring boot框架优点
spring boot框架优点

spring boot框架的优点有简化配置、快速开发、内嵌服务器、微服务支持、自动化测试和生态系统支持。本专题为大家提供spring boot相关的文章、下载、课程内容,供大家免费下载体验。

631

2023.09.05

spring框架有哪些
spring框架有哪些

spring框架有Spring Core、Spring MVC、Spring Data、Spring Security、Spring AOP和Spring Boot。详细介绍:1、Spring Core,通过将对象的创建和依赖关系的管理交给容器来实现,从而降低了组件之间的耦合度;2、Spring MVC,提供基于模型-视图-控制器的架构,用于开发灵活和可扩展的Web应用程序等。

1455

2023.10.12

Java Spring Boot开发
Java Spring Boot开发

本专题围绕 Java 主流开发框架 Spring Boot 展开,系统讲解依赖注入、配置管理、数据访问、RESTful API、微服务架构与安全认证等核心知识,并通过电商平台、博客系统与企业管理系统等项目实战,帮助学员掌握使用 Spring Boot 快速开发高效、稳定的企业级应用。

4986

2025.08.19

Java Spring Boot 4更新教程_Java Spring Boot 4有哪些新特性
Java Spring Boot 4更新教程_Java Spring Boot 4有哪些新特性

Spring Boot 是一个基于 Spring 框架的 Java 开发框架,它通过 约定优于配置的原则,大幅简化了 Spring 应用的初始搭建、配置和开发过程,让开发者可以快速构建独立的、生产级别的 Spring 应用,无需繁琐的样板配置,通常集成嵌入式服务器(如 Tomcat),提供“开箱即用”的体验,是构建微服务和 Web 应用的流行工具。

436

2025.12.22

Java Spring Boot 微服务实战
Java Spring Boot 微服务实战

本专题深入讲解 Java Spring Boot 在微服务架构中的应用,内容涵盖服务注册与发现、REST API开发、配置中心、负载均衡、熔断与限流、日志与监控。通过实际项目案例(如电商订单系统),帮助开发者掌握 从单体应用迁移到高可用微服务系统的完整流程与实战能力。

640

2025.12.24

Spring Boot企业级开发与MyBatis Plus实战
Spring Boot企业级开发与MyBatis Plus实战

本专题面向 Java 后端开发者,系统讲解如何基于 Spring Boot 与 MyBatis Plus 构建高效、规范的企业级应用。内容涵盖项目架构设计、数据访问层封装、通用 CRUD 实现、分页与条件查询、代码生成器以及常见性能优化方案。通过完整实战案例,帮助开发者提升后端开发效率,减少重复代码,快速交付稳定可维护的业务系统。

385

2026.02.11

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn