Comprendre Kafka Keys: un guide complet

Apache Kafka est une puissante plate-forme de flux d'événements distribué qui est largement utilisée pour créer des pipelines et des applications de données à temps réel. L'une de ses fonctions principales est la Kafka Message Key

, qui joue un rôle vital dans la partition, le tri et le routage des messages. Cet article explore le concept, l'importance et les exemples réels de la clé Kafka. Quelle est la clé Kafka?

Dans Kafka, chaque message contient deux composants principaux:

clé (clé)

: La partition qui détermine le message sera envoyée.
• Valeur : Les données réelles du message sont une charge efficace.
• Les producteurs de Kafka utilisent des clés pour calculer la valeur de hachage, qui détermine la partition spécifique du message. Si la clé n'est pas fournie, le message sera distribué dans diverses partitions par rotation.
Pourquoi utiliser la clé Kafka?

Kafka Key offre certains avantages, ce qui le rend essentiel dans certaines scènes:

Tri des messages

:

1. Le message avec la même clé se dirige toujours vers la même partition. Cela garantit que l'ordre de ces messages dans la partition est réservé. Exemple: Dans le système E -Commerce, en utilisant Order_ID comme clé pour s'assurer que tous les événements liés à des commandes spécifiques (par exemple, "La commande a été passée" et "Expédition des commandes") est traitée dans l'ordre.

   • Groupe logique
   :
2. La clé peut regrouper les messages pertinents dans la même partition.

   Exemple: Pour le système Internet des objets, l'utilisation de Sensor_ID comme clé peut garantir que les données du même capteur sont traitées ensemble.

   Traitement efficace des données
   • :
Les consommateurs peuvent traiter efficacement les messages à partir de partitions spécifiques en utilisant des clés.

3. Exemple: dans le système de suivi des activités utilisateur, l'utilisation de l'utilisateur_id comme clé peut garantir que toutes les opérations de l'utilisateur sont emballées afin d'effectuer une analyse personnalisée.

   • Compression logarithmique
   :
   Kafka prend en charge la compression des journaux et ne conserve que la dernière valeur pour chaque clé. Ceci est très utile pour maintenir les données d'état (telles que la configuration ou le fichier de configuration utilisateur).

4. Quand la clé doit-elle être utilisée?

   Dans les circonstances suivantes, la clé doit être utilisée:
   La commande est importante.

Besoin de regroupement logique

: regroupement des messages connexes ensemble (par exemple, les journaux du même serveur ou des incidents à partir de clients spécifiques).

Compression logarithmique

: Maintenez uniquement le dernier état de chaque clé.

• Cependant, s'il n'est pas requis et emballé, ou réparti uniformément dans chaque partition, il est plus important (par exemple, un système de débit élevé), et la clé d'utilisation doit être évitée.
Exemple (python)
• Ce qui suit est un exemple Python utilisant la bibliothèque Confluent-Kafka pour montrer comment utiliser efficacement la clé lors de la génération de messages.

  Exemple 1: suivi de l'activité des utilisateurs

  Supposons que vous souhaitiez suivre les activités des utilisateurs sur le site Web. Utilisez user_id comme clé pour vous assurer que toutes les opérations d'un seul utilisateur sont acheminées vers la même partition.

  from confluent_kafka import Producer
  
  producer = Producer({'bootstrap.servers': 'localhost:9092'})
  
  # 使用user_id作为键发送消息
  key = "user123"
  value = "page_viewed"
  producer.produce(topic="user-activity", key=key, value=value)
  producer.flush()

  Ici, tous les messages utilisant User123 comme clé entrent la même partition, conservant ainsi sa commande.

  Exemple 2: Données des capteurs de l'Internet des objets

  Pour le système Internet des objets qui envoie la lecture de la température pour chaque capteur, utilisez Sensor_ID comme clé.

  from confluent_kafka import Producer
  
  producer = Producer({'bootstrap.servers': 'localhost:9092'})
  
  # 使用sensor_id作为键发送消息
  key = "sensor42"
  value = "temperature=75"
  producer.produce(topic="sensor-data", key=key, value=value)
  producer.flush()

  Cela garantit que toutes les lectures de Sensor42 sont regroupées.

  Exemple 3: Traitement des commandes

  Dans le système de traitement des commandes, utilisez Order_id comme clé pour maintenir l'ordre de l'événement de chaque commande.

  from confluent_kafka import Producer
  
  producer = Producer({'bootstrap.servers': 'localhost:9092'})
  
  # 使用order_id作为键发送消息
  key = "order789"
  value = "Order Placed"
  producer.produce(topic="orders", key=key, value=value)
  producer.flush()

  La meilleure pratique de l'utilisation de la clé Kafka

  1. clé de conception prudente :

     Assurez-vous que la clé est répartie uniformément dans chaque partition pour éviter les points chauds.
     Exemple: si la plupart des utilisateurs sont concentrés dans un domaine, évitez d'utiliser des champs à haut niveau (comme l'emplacement géographique).
  2. Distribution de partition de surveillance

     :

     Lorsque vous utilisez la clé, analysez régulièrement la charge de partition pour assurer la distribution équilibrée.
  Utiliser la sérialisation
  3. :

     Clé correctement sérialisé (par exemple, JSON ou AVRO) pour assurer la compatibilité et la cohérence avec les consommateurs.

     Conclusion
  Kafka Key est une fonction puissante, qui peut faire un traitement ordonné et un regroupement logique dans la partition. En concevant soigneusement et en utilisant des clés en fonction des exigences de l'application, vous pouvez optimiser les performances de Kafka et assurer la cohérence des données. Que vous créiez une plate-forme Internet des objets, une application de commerce électronique ou un système d'analyse en temps réel, la compréhension et l'utilisation de la clé Kafka améliorera considérablement l'architecture de votre flux de données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!