Logstash的xml过滤器不能直接读取XML文件，必须配合file输入插件使用；需用multiline codec合并多行XML，再通过xpath解析，且需注意编码、格式、命名空间等细节问题。
Logstash 的 xml 过滤器不支持直接读取文件，必须配合 file 输入插件使用
Logstash 本身没有“导入 XML 文件”的能力，xml 过滤器只负责解析已进入事件流的 XML 字符串。你得先让文件内容变成 event 的 message 字段，再用 xml 解析它。
常见错误现象：xml 过滤器没生效、字段全空、报错 Field referenced in xpath does not exist——基本都是因为 message 里压根没 XML 内容，或者内容被自动换行/截断了。
- file 输入必须加
start_position => "beginning"，否则新启动时会跳过已有内容 - 务必设置
sincedb_path => "/dev/null"（开发测试）或指定可写路径，否则 Logstash 记不住读到哪，反复重读或漏读 - XML 若含多行、缩进、注释，
file插件默认按行切分，会导致单个 XML 被拆成多个 event——必须用codec => multiline合并
multiline 配置要匹配 XML 根标签起始行，否则解析失败
XML 通常以 <?xml 或 <root> 开头，<code>multiline 得靠这个识别“一段完整 XML”的起点。用错 pattern，event 就是碎片，xml 过滤器自然找不到完整结构。
示例（匹配根元素为 <logentry></logentry> 的 XML）：
input {
file {
path => "/path/to/*.xml"
start_position => "beginning"
sincedb_path => "/dev/null"
codec => multiline {
pattern => "^<logEntry>"
negate => true
what => "previous"
}
}
}-
pattern必须是正则，且锚定行首（^），避免误匹配内容里的标签 -
negate => true表示：**不匹配该 pattern 的行，都归到上一个匹配行之后**——也就是把所有非起始行追加到前一个<logentry></logentry>开头的 event 里 - 如果 XML 有 XML 声明（
<?xml version="1.0"?>），pattern 得改成"^ 并转义问号
xml 过滤器的 xpath 必须严格对应实际结构，属性需加 @ 符号
xml 插件内部用 Nokogiri 解析，xpath 写错一点就取不到值，也不会报错，只会静默忽略。调试时先用 rubydebug 输出原始 message，确认结构再写 xpath。
示例（解析 <logentry level="ERROR" timestamp="2024-01-01T12:00:00"><msg>Hello</msg></logentry>）：
filter {
xml {
source => "message"
target => "parsed"
xpath => [
"/logEntry/@level", "level",
"/logEntry/@timestamp", "timestamp",
"/logEntry/msg/text()", "msg"
]
}
}- 属性必须写
@level，漏掉@就取不到 - 文本内容必须加
/text()，否则取到的是节点对象，不是字符串 - 如果 XML 有命名空间（如
<logentry></logentry>），xpath 必须声明前缀，且xml插件不支持默认命名空间，得显式处理 - 嵌套层级深时，建议先用
target => "tmp"把整棵树存下来，再用第二个xml过滤器逐层抽，比一长串 xpath 更易维护
大 XML 文件或高频更新场景下，file + multiline 性能差，应预处理
Logstash 的 file 输入 + multiline 是单线程、内存驻留式处理，遇到几百 MB 的 XML 或每秒多个文件，容易卡住、OOM、延迟飙升。
更稳的做法是：用脚本（Python / awk）提前把 XML 拆成一行一条 JSON，再喂给 Logstash 的 file 或 beats 输入：
# 示例：用 xmlstar 把每个 <logEntry> 提取为一行 JSON
xmlstar --net --template '{ "level": "{@level}", "msg": "{msg/text()}" }' input.xml | sed 's/} *{/},\n{/g'- 拆分后 Logstash 不再需要
multiline和复杂 xpath，吞吐量提升 5–10 倍 - 避免 Logstash 加载整个大 XML 到内存，减少 GC 压力
- XML 格式不规范（如缺失闭合标签）时，外部工具报错明确，Logstash 里却可能静默失败
真正麻烦的从来不是 xpath 写法，而是 XML 数据源是否稳定、编码是否一致、是否有 DTD 实体引用——这些在 Logstash 里极难 debug，最好在接入前用 file -i 看编码，用 xmllint --noout 验证格式。
