讲师中心 微信公众号
AI工具推荐 视频效率加速

Kafka Connect如何从文件系统读取XML并推送到Topic

梦墨吖_8341

梦墨吖_8341

发布时间:2026-01-21 10:26:59

|

189人浏览过

|

来源于php中文网

原创

需借助第三方组件实现Kafka Connect读取XML:一、用FilePulse Connector配合Confluent XML Converter,配置XPath解析与JSON转换;二、开发自定义Source Connector,基于DOM/SAX解析并构造SourceRecord;三、以Logstash为中间层,通过XML filter提取字段后推送至Kafka。

kafka connect如何从文件系统读取xml并推送到topic

如果您希望使用Kafka Connect从本地或网络文件系统读取XML格式数据并将其写入Kafka Topic,则需借助支持XML解析的Connector。Kafka Connect原生不支持XML解析,必须通过第三方转换器或自定义Source Connector实现。以下是可行的操作路径:

一、使用Confluent XML Converter配合FilePulse Connector

FilePulse Connector是开源的通用文件源连接器,支持多种格式解析,配合Confluent提供的XML Converter可将XML内容结构化为JSON Schema格式记录。

1、下载FilePulse Connector JAR包并放入Kafka Connect插件目录(如connect-plugins/)。

2、下载confluentinc/kafka-connect-xml并确保其JAR文件位于同一插件路径下。

3、启动Connect分布式集群后,提交以下REST配置:

4、在POST请求体中指定"connector.class": "io.streamthoughts.kafka.connect.filepulse.source.FilePulseSourceConnector"。

5、设置"tasks.max": "1"与"fs.scan.directory.path": "/path/to/xml/files"指向XML所在目录。

6、配置"file.filter.regex.pattern": ".*\.xml$"仅匹配XML文件。

7、启用XML解析:"format.type": "xml",并设置"xml.xpath.expression": "/root/record"提取每条记录节点。

8、指定"transforms": "unwrap"与"transforms.unwrap.type": "org.apache.kafka.connect.transforms.Flatten$Value"展平嵌套字段。

9、将"key.converter": "org.apache.kafka.connect.storage.StringConverter"和"value.converter": "io.confluent.connect.xml.XmlConverter"设为对应转换器类。

10、设置"value.converter.schema.registry.url": "http://schema-registry:8081"(若启用Schema Registry)。

二、编写自定义XML Source Connector

当标准Connector无法满足复杂XML结构(如混合文本/属性/命名空间)时,需开发继承SourceConnector与SourceTask的Java实现,直接解析DOM/SAX/StAX流并构造SourceRecord对象。

1、创建Maven模块,依赖kafka-connect-api与woodstox-core(用于稳健XML解析)。

2、在XmlSourceConnector中重写configDef()方法,暴露xml.input.path、xml.record.xpath等配置项。

3、于XmlSourceTask中初始化XMLInputFactory,逐文件打开输入流。

4、使用XPath定位目标记录节点,对每个匹配节点调用node.toString()或序列化为Map结构。

Json Repair Kit
Json Repair Kit

使用 Node.js 评估修复格式错误的 JSON,自动纠正尾随逗号、单引号、未加引号的键等常见问题,实现文件规范化。

下载

5、将每条解析结果封装为Struct,依据预定义Schema生成SourceRecord实例。

6、在poll()方法中返回记录列表,并设置offset以支持断点续传(如记录文件名+行号或最后修改时间戳)。

7、打包为fat JAR,放入Connect插件目录并重启worker进程。

8、通过REST API注册该Connector,填入"connector.class": "com.example.kafka.connect.xml.XmlSourceConnector"。

9、配置"xml.input.path": "/data/inbound"与"topic": "xml-ingest-topic"。

10、确认status返回"RUNNING"且日志中出现"Processed N records from file X.xml"。

三、使用Logstash + Kafka Output作为替代管道

若Kafka Connect部署受限或需快速验证流程,可用Logstash作为中间解析层:它内置XML filter插件,支持XPath提取、字段映射与嵌套展开,再通过kafka output插件推送至Topic。

1、安装Logstash并确保logstash-filter-xml与logstash-output-kafka已加载。

2、创建配置文件xml-to-kafka.conf,在input段设置file插件,指定path => "/var/log/xml/*.xml"。

3、添加start_position => "beginning"与sincedb_path => "/dev/null"确保首次读取全部内容。

4、在filter段加入xml插件,设置source => "message"与target => "parsed"。

5、配置xpath => { "/root/item/text()" => "item_text" }提取关键字段。

6、使用mutate插件重命名或删除冗余字段,如remove_field => ["message", "@version"]。

7、在output段配置kafka插件,指定bootstrap_servers => "kafka:9092"与topic_id => "xml-topic"。

8、设置codec => json确保消息体为JSON格式。

9、执行logstash -f xml-to-kafka.conf启动管道。

10、监控Kafka Topic是否接收到结构化JSON消息,字段与XPath提取一致。

相关文章

Kafka Eagle可视化工具
Kafka Eagle可视化工具

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等,有需要的小伙伴快来保存下载体验吧!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2093

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

3334

2023.10.07

json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2195

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3462

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1156

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

3979

2025.09.10

Java Maven专题
Java Maven专题

本专题聚焦 Java 主流构建工具 Maven 的学习与应用,系统讲解项目结构、依赖管理、插件使用、生命周期与多模块项目配置。通过企业管理系统、Web 应用与微服务项目实战,帮助学员全面掌握 Maven 在 Java 项目构建与团队协作中的核心技能。

4120

2025.09.15

Java Maven/Gradle 构建与依赖管理合集
Java Maven/Gradle 构建与依赖管理合集

系统讲解 Java 项目构建工具的使用与进阶配置,涵盖 Maven 的 POM 文件结构、生命周期(clean/compile/package/install/deploy)与插件机制、依赖范围(compile/provided/test/runtime)与传递依赖管理、多模块聚合与继承、私有 Nexus 仓库发布,以及 Gradle 的 Groovy / Kotlin DSL 语法、Task 自定义与增量构建、依赖版本目录(Versi

389

2026.05.09

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

40

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn