可通过JMX访问kafka.producer:type=producer-metrics,client-id=xxx下的request-latency-avg/max等指标获取生产者请求延迟,该值表示成功请求从发送到响应的毫秒耗时,需显式设置client.id并启用JMX且确保metrics.recording.level为DEBUG或DEFAULT。

如何通过JMX获取Kafka生产者发送延迟(request-latency)
Kafka生产者本身不直接暴露“端到端发送延迟”,但ProducerMetrics里有request-latency——它指从发送请求到收到响应的时间,单位毫秒,是实际可用的延迟代理指标。
这个值默认每30秒聚合一次,属于kafka.producer:type=producer-metrics,client-id=xxx下的request-latency-max、request-latency-avg等属性。注意:它只统计成功返回响应的请求,超时或网络失败的不会计入。
- 确保启动生产者时启用了JMX:
KAFKA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=9999"(或用jmx_port配置) -
client.id必须显式设置,否则JMX对象名含随机后缀,监控系统难以稳定抓取 - 若使用Confluent Platform或较新Kafka(3.0+),
request-latency默认启用;旧版本(如2.4)需确认metrics.recording.level未设为INFO(会丢掉HISTOGRAM类指标)
为什么record-error-rate不能当丢包率用
Kafka生产者没有“丢包率”这个原生指标——它不丢消息,只可能抛异常、重试失败或静默丢弃(比如max.block.ms超时后send()抛TimeoutException,或delivery.timeout.ms内未确认且acks=1时副本宕机)。
真正能间接反映失败的是record-error-rate(每秒错误记录数),但它只统计明确抛出异常的场景(如SerializationException、TimeoutException),而RetriesExhausted类失败在JMX中归入record-retry-rate,不进错误率。
- 想估算“不可达消息比例”,得组合两个JMX指标:
record-error-rate+record-retry-rate,再除以record-send-rate -
record-error-rate在kafka.producer:type=producer-metrics,client-id=xxx下;但record-retry-rate在kafka.producer:type=producer-node-metrics,client-id=xxx,node-id=bootstrap下——路径不同,采集器要分开配 - 如果启用了
enable.idempotence=true,部分重试会被内部吞掉,record-retry-rate可能偏低,这时更应关注idempotent-producer-batch-expired(Kafka 3.3+)
常见JMX连接失败的三个硬坑
不是所有Kafka客户端都开JMX,也不是所有JVM参数都能生效。很多监控工具连不上,问题往往卡在底层通信上。
- JDK版本差异:
com.sun.management.jmxremote在JDK 17+默认禁用,必须加-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false,否则连不上 - Docker部署时,
java.rmi.server.hostname没设对——容器内JMX绑定localhost,外部访问就会超时;得设成宿主机IP或服务发现域名 - Kafka客户端(如spring-kafka)若用
DefaultKafkaProducerFactory,它默认复用Producer实例,JMX client-id 可能被覆盖;建议显式传入client.id并禁用自动ID生成
用jconsole快速验证JMX指标是否就位
别急着上Prometheus,先本地确认数据可读。这是最省时间的兜底动作。
启动生产者后,在本机运行jconsole → 连接对应PID → 切到MBeans页 → 展开kafka.producer → 找producer-metrics节点 → 点Attributes → 查看request-latency-avg是否随发送波动(发几条消息后刷新,值应变化)。
- 如果
request-latency-avg始终为0或NaN,说明指标未激活,检查metric.reporters是否为空,或metrics.num.samples是否太小(建议≥2) - 如果
record-error-rate一直为0,但你知道代码里故意写了send()后不get(),那它确实不会触发错误计数——JMX只捕获同步失败,异步失败得靠回调里的exception != null判断 - Spring Boot项目若用
spring-boot-starter-actuator,别指望/actuator/metrics自动暴露JMX指标;它只暴露Micrometer注册的,需额外配management.metrics.export.jmx.enabled=true
真实环境里,JMX路径拼写、client-id一致性、JDK版本适配,这三个点卡住80%的人。指标本身不难,难在让它们稳稳跑起来。


















