Java中Kafka通过实现Partitioner接口并配置partitioner.class可按业务字段精准路由：核心是partition()方法返回0~numPartitions-1的分区号，支持从key/value提取字段（如user_id），需处理null、负哈希及扩容影响，推荐Objects.hashCode()或一致性哈希。
Java 中 Kafka 利用自定义 Partitioner 实现按业务字段（比如用户 ID、订单号、设备编号等）精准路由到指定分区，核心在于实现 org.apache.kafka.clients.producer.Partitioner 接口，并在 Producer 配置中指定该类。
实现自定义 Partitioner 接口
你需要创建一个类，实现 Partitioner 接口的三个关键方法：partition()、configure() 和 close()。其中 partition() 是核心逻辑所在，决定消息发往哪个分区。
-
partition() 方法必须返回合法分区号：范围是
0到numPartitions - 1，超出会抛出IllegalStateException -
key 和 value 都可参与计算：通常从
record.key()或record.value()中提取业务字段（如 JSON 字符串里解析出 user_id） - 避免 null key 导致 NPE：建议对 key 做空判断，或 fallback 到默认策略（如 hash(key) % numPartitions）
提取业务字段并做一致性哈希或取模
常见做法是将业务标识（如字符串类型的 user_id）转为整数，再映射到分区。推荐使用 Math.abs(key.hashCode()) % numPartitions，但要注意负数哈希值问题；更健壮的方式是用 Objects.hashCode() 或 String.hashCode() 结合 & Integer.MAX_VALUE 保证非负。
- 若需保证相同 user_id 总落在同一分区，且分区扩容时影响最小，可考虑 一致性哈希（如使用
hashing库或自定义环形哈希结构） - 若业务要求严格按某字段分片（如 100 个用户平均打散到 10 个分区），可用
user_id % 10，前提是 user_id 是数字且分布均匀 - 若 value 是 JSON，可在
partition()中用轻量 JSON 解析器（如org.json.JSONObject或 Jackson 的JsonNode）提取字段，但注意性能开销
注册自定义 Partitioner 到 Producer
在构建 KafkaProducer 时，通过 props.put("partitioner.class", "com.example.MyCustomPartitioner") 指定全限定类名。
立即学习“Java免费学习笔记（深入）”；
- 确保该类在 classpath 下且有无参构造函数
- 可通过
configure(Map<String, ?> configs)获取配置项（如自定义字段名、分片规则参数），便于灵活控制 - 如果需要初始化资源（如加载配置、缓存），放在
configure()中；清理工作放在close()
验证分区效果与注意事项
发送消息后，可通过 producer.send(record, callback) 的回调获取实际使用的分区号，或消费时打印 ConsumerRecord.partition() 来确认路由是否符合预期。
- 不要在
partition()中做耗时操作（如远程调用、文件读写），否则会阻塞 Producer 发送线程 - 分区数变更后，原有取模逻辑可能导致数据错乱，上线前需评估 rehash 影响
- 测试时建议用固定 key 发多条消息，观察是否始终命中同一分区
