Kafka消费者或生产者配置中，即使消息键（key）不同且哈希值明确对应多个分区，所有消息仍被路由至同一分区（如Partition 0），根本原因在于KIP-794引入的“严格均匀粘性分区器（Strictly Uniform Sticky Partitioner）”默认行为——批处理模式下强制同一批内所有记录复用首个记录的分区，而非按key独立计算。
kafka消息始终发送到同一分区（partition 0）的根源与解决方案：kafka消费者或生产者配置中，即使消息键（key）不同且哈希值明确对应多个分区，所有消息仍被路由至同一分区（如partition 0），根本原因在于kip-794引入的“严格均匀粘性分区器（strictly uniform sticky partitioner）”默认行为——批处理模式下强制同一批内所有记录复用首个记录的分区，而非按key独立计算。
在Kafka 3.3+版本中，DefaultPartitioner 已升级为 Strictly Uniform Sticky Partitioner（KIP-794），其核心设计目标是提升吞吐量与缓存局部性，但代价是牺牲了传统按Key哈希分发的确定性：当启用批量发送（batch.size > 1 或 linger.ms > 0）时，分区器会为整个批次选择一个“粘性分区”（sticky partition），后续消息在该批次未满或未超时前，全部路由至此分区，无视消息Key。
这正是您遇到问题的根本原因：
- 您为两条消息流分别设置了不同Key（
group_id和partition_1_key），理论上应分别映射到 Partition 0 和 Partition 1； - 但若这两路消息被Kafka客户端合并进同一生产批次（例如因高并发、小延迟或默认配置），则整个批次将被分配到首个消息计算出的分区（很可能是 Partition 0），导致所有消息“看似随机”地扎堆于 Partition 0。
✅ 验证与解决方法如下：
开箱即用的技能链路由引擎。13 条预定义链覆盖搜索、开发、审查、MLOps、法律、创意等场景，三层路由架构（触发词→SAD反馈→DAG编排），recall@10=96.97%。配置驱动（chains.yaml），零代码扩展。pip install skill-weave-chains 一键安装。
1. 确认当前分区器与批次行为
检查 KafkaTemplate 底层 ProducerConfig 是否启用了粘性分区器（默认即启用），并观察实际批次大小：
// 在KafkaTemplate初始化时显式配置，便于调试
@Bean
public KafkaTemplate<String, String> kafkaTemplate(ProducerFactory<String, String> producerFactory) {
KafkaTemplate<String, String> template = new KafkaTemplate<>(producerFactory);
// 关键：禁用粘性行为，恢复Key感知的哈希分区
template.setProducerListener(new LoggingProducerListener<>()); // 可选：日志追踪
return template;
}2. 强制启用Key感知分区（推荐方案）
在 application.yml 中覆盖默认分区器，使用传统 UniformStickyPartitioner 或自定义逻辑：
spring:
kafka:
producer:
properties:
# 方案A：回退到旧版粘性分区器（Kafka <3.3 行为）
partitioner.class: org.apache.kafka.clients.producer.internals.UniformStickyPartitioner
# 方案B（更彻底）：禁用粘性，完全依赖Key哈希（需Kafka 3.3+）
# partitioner.class: org.apache.kafka.clients.producer.internals.RoundRobinPartitioner
# 注意：RoundRobinPartitioner 无视Key，仅轮询；如需Key路由，请用下方自定义类3. 自定义Key哈希分区器（精准控制）
创建符合您业务逻辑的分区器，确保 key.hashCode() % numPartitions 正确生效：
public class KeyHashPartitioner<K, V> implements Partitioner<K, V> {
@Override
public int partition(String topic, K key, byte[] keyBytes, V value, byte[] valueBytes, Cluster cluster) {
List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
int numPartitions = partitions.size();
if (keyBytes == null) return ThreadLocalRandom.current().nextInt(numPartitions);
// 使用MurmurHash2（与Kafka内置一致）或直接取hashCode
int hash = Utils.murmur2(keyBytes); // Kafka工具类
return Math.abs(hash) % numPartitions;
}
@Override
public void close() {}
@Override
public void configure(Map<String, ?> configs) {}
}并在配置中指定：
spring:
kafka:
producer:
properties:
partitioner.class: com.example.KeyHashPartitioner⚠️ 注意事项：
-
LiteralExpression设置的Key是静态字符串，需确保topicProperties.getProducerKey()和getProducerKeyOne()返回的值字节级精确不同（您已验证其Murmur2哈希值分别为2186850892和1550936367，符合预期）； - 若仍无效，请检查是否误将两个
MessageHandler指向了同一个KafkaTemplate实例（共享批次缓冲区），建议为不同Key流配置独立KafkaTemplate； - 生产环境务必压测验证分区均匀性，避免因Key分布倾斜导致单分区过载。
总结：KIP-794的粘性优化是一把双刃剑。当业务强依赖Key→Partition映射关系时，必须显式禁用粘性行为或使用Key-aware分区器，才能恢复可预测的分区路由语义。
