讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

updream

一键生成高质量推广成片

Seko
Seko

AI短剧一键生成成片

Laper
Laper

剧本策划到成片协作

Apache Flink 中同一数据流并行写入多个 Sink 的最佳实践

轻浩姑娘_5601

轻浩姑娘_5601

发布时间:2026-11-12 09:07:28

|

398人浏览过

|

来源于php中文网

原创

Apache Flink 中同一数据流并行写入多个 Sink 的最佳实践

在 Apache Flink 中,若需将同一 DataStream 并行分发至多个 Sink(如不同存储或服务),推荐直接对原始流调用多次 process() 创建独立子流,而非引入 SideOutput——除非存在事件分流逻辑(即不同事件路由到不同路径)。该方式更简洁、高效且语义清晰。

在 apache flink 中,若需将同一 datastream 并行分发至多个 sink(如不同存储或服务),推荐直接对原始流调用多次 `process()` 创建独立子流,而非引入 sideoutput——除非存在事件分流逻辑(即不同事件路由到不同路径)。该方式更简洁、高效且语义清晰。

当需要对同一输入流执行多路异构处理并分别输出时(例如:一路做实时风控计算写入 Kafka,另一路做统计聚合写入 Redis),Flink 提供了两种常见建模方式:一是直接复用原始流链式调用多个 process() 算子;二是借助 SideOutput 机制将事件按条件分发至不同侧输出流。但二者适用场景截然不同。

✅ 推荐方案:直接复用原始流(Option 1)
这是最自然、高效且符合 Flink 执行模型的设计。Flink 允许对同一个 DataStream 多次调用转换算子(如 process()、map()、filter()),每次调用都会生成一条逻辑上独立、物理上共享上游分区的新流。这些流可各自连接不同的 Sink,彼此完全解耦:

DataStream<Event> dataStream = env.fromSource(...);

// 分支一:处理为 NewType1,写入 Sink1
DataStream<NewType1> stream1 = dataStream.process(new ProcessFunction<Event, NewType1>() {
    @Override
    public void processElement(Event value, Context ctx, Collector<NewType1> out) throws Exception {
        out.collect(new NewType1(value.getId(), value.getTimestamp()));
    }
});

// 分支二:处理为 NewType2,写入 Sink2
DataStream<NewType2> stream2 = dataStream.process(new ProcessFunction<Event, NewType2>() {
    @Override
    public void processElement(Event value, Context ctx, Collector<NewType2> out) throws Exception {
        out.collect(new NewType2(value.getEventType(), value.getPayload()));
    }
});

// 分别接入不同 Sink(如 KafkaProducerSink、JdbcSink 等)
stream1.sinkTo(sink1);
stream2.sinkTo(sink2);

⚠️ SideOutput 不适用于本场景
SideOutput 的核心价值在于单事件的条件分流(例如:正常事件走主流,异常事件打标后进入侧输出流用于告警)。它要求所有逻辑在一个算子内完成,且侧输出流必须从同一 ProcessFunction 的 output() 方法中显式发射。若强行用 SideOutput 模拟“双处理”,不仅需在单个算子中混杂两套业务逻辑,还会丧失算子级并行度控制、状态隔离与容错粒度等关键优势,显著降低可维护性与可观测性。

Apache Superset Dashboard and SQL Exploration Skill
Apache Superset Dashboard and SQL Exploration Skill

Apache Superset 是一个广泛采用的开源 BI 平台,用于 SQL 探索、图表构建和仪表板交付。当代理需要查询仓库数据、组装仪表板或使用成熟的分析界面解释指标而不是临时笔记本代码时,此技能非常有用。

下载

? 性能与运维考量

  • 资源开销:两种方式在底层均复用同一 Source 和网络 shuffle(若无 keyBy),TaskManager 负载差异极小;
  • 背压传播:各分支 Sink 独立背压,互不影响,保障系统稳定性;
  • 监控指标:重点关注各 Sink 子流的 numRecordsOutPerSecond、latency 及反压状态(backPressuredTimeMsPerSecond),而非比较“哪种方式更快”——它们本质是同一拓扑的不同分支;
  • 容错语义:每条分支拥有独立 Checkpoint 对齐与状态快照,故障恢复精准。

? 总结建议

  • ✅ 优先采用「多次 process()」方式:语义清晰、开发直观、运维友好、扩展性强;
  • ❌ 避免为多 Sink 场景滥用 SideOutput:违背其设计初衷,增加复杂度;
  • ? 进阶优化:如需共享中间计算结果(如解析后的 POJO),可提取为 MapFunction 预处理,再由下游 ProcessFunction 复用,避免重复解析。

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
kafka消费者组有什么作用
kafka消费者组有什么作用

kafka消费者组的作用:1、负载均衡;2、容错性;3、广播模式;4、灵活性;5、自动故障转移和领导者选举;6、动态扩展性;7、顺序保证;8、数据压缩;9、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3286

2024.01.12

kafka消费组的作用是什么
kafka消费组的作用是什么

kafka消费组的作用:1、负载均衡;2、容错性;3、灵活性;4、高可用性;5、扩展性;6、顺序保证;7、数据压缩;8、事务性支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

710

2024.02.23

rabbitmq和kafka有什么区别
rabbitmq和kafka有什么区别

rabbitmq和kafka的区别:1、语言与平台;2、消息传递模型;3、可靠性;4、性能与吞吐量;5、集群与负载均衡;6、消费模型;7、用途与场景;8、社区与生态系统;9、监控与管理;10、其他特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

684

2024.02.23

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

750

2026.02.04

apache是什么意思
apache是什么意思

Apache是Apache HTTP Server的简称,是一个开源的Web服务器软件。是目前全球使用最广泛的Web服务器软件之一,由Apache软件基金会开发和维护,Apache具有稳定、安全和高性能的特点,得益于其成熟的开发和广泛的应用实践,被广泛用于托管网站、搭建Web应用程序、构建Web服务和代理等场景。本专题为大家提供了Apache相关的各种文章、以及下载和课程,希望对各位有所帮助。

1275

2023.08.23

apache启动失败
apache启动失败

Apache启动失败可能有多种原因。需要检查日志文件、检查配置文件等等。想了解更多apache启动的相关内容,可以阅读本专题下面的文章。

14893

2024.01.16

Java 流式处理与 Apache Kafka 实战
Java 流式处理与 Apache Kafka 实战

本专题专注讲解 Java 在流式数据处理与消息队列系统中的应用,系统讲解 Apache Kafka 的基础概念、生产者与消费者模型、Kafka Streams 与 KSQL 流式处理框架、实时数据分析与监控,结合实际业务场景,帮助开发者构建 高吞吐量、低延迟的实时数据流管道,实现高效的数据流转与处理。

750

2026.02.04

XAMPP Apache 与 MySQL 核心配置实战
XAMPP Apache 与 MySQL 核心配置实战

深入讲解 XAMPP 中 Apache 和 MySQL 的核心配置技巧,包括 httpd.conf 端口修改、虚拟主机(VirtualHost)多站点配置、MySQL 用户权限管理与远程连接设置、php.ini 关键参数调优,以及 SSL 证书的本地配置方法,适合有一定基础的开发者进阶使用。

525

2026.04.08

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

80

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Apache Maven 官方安装指南
Apache Maven 官方安装指南

共0课时 | 0人学习

Apache Maven 官方用户中心
Apache Maven 官方用户中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn