Comment automatiser la création et la suppression de sujets Kafka à l'aide des actions GitHub et de JavaScript

L'automatisation de la création et de la suppression de sujets Kafka est cruciale pour les développeurs utilisant des architectures basées sur les événements. La gestion manuelle devient peu pratique à mesure que votre déploiement Kafka évolue, que vous ayez affaire à un système en pleine croissance ou que vous mettiez en œuvre une infrastructure sous forme de code. Ce guide montre l'automatisation de ce processus à l'aide de JavaScript et de GitHub Actions, en l'intégrant de manière transparente dans votre flux de travail DevOps.

Les défis de la gestion manuelle des sujets Kafka

Les sujets Kafka sont fondamentaux dans l’organisation d’événements. Au fur et à mesure que votre architecture se développe, vous aurez besoin de divers sujets pour :

• Catégoriser différents types d'événements
• Stockage des sous-ensembles d'événements filtrés
• Maintenir les versions d'événements transformés

La gestion manuelle des sujets devient complexe et sujette aux erreurs avec la croissance du système. Chaque nouveau service peut nécessiter de nouveaux sujets, et chaque environnement (développement, transfert, production) a besoin de son propre ensemble configuré de manière cohérente. Sans automatisation, cette surcharge manuelle ralentit le développement et augmente les erreurs de configuration.

Avantages de l'automatisation de la gestion des sujets

L'automatisation de la création et de la suppression de sujets Kafka offre des avantages significatifs :

1. Configuration de sujets cohérente dans tous les environnements.
2. Réduction des erreurs humaines dans la gestion des sujets.
3. Contrôle de version pour les configurations de sujets.
4. Flux de travail DevOps rationalisés.
5. Intégration des changements de sujet dans votre pipeline CI/CD.

Choisir les bons outils

Ce tutoriel utilise JavaScript pour sa solution d'automatisation. Bien que d'autres langages soient possibles, JavaScript offre des avantages :

• Script plus simple que Bash.
• Exploite l'expertise JavaScript existante de l'équipe.
• Riche écosystème de packages via npm.
• Nettoyer la syntaxe async/wait pour les opérations Kafka.

Cette solution est implémentée sous la forme d'une application Node.js exécutée en tant que Job Kubernetes, idéale pour les équipes utilisant des clusters Kafka accessibles par VPC.

Configuration de l'application

Vous aurez besoin d'un projet Node.js. Créez-en un en utilisant npm init -y. Si Node.js et npm ne sont pas installés, téléchargez-les depuis https://www.php.cn/link/0d78f6439e652fdbf801d103430d2e12.

Dans le répertoire de votre projet, exécutez npm install kafkajs pour installer le client JavaScript Kafka.

Mise en œuvre de la solution

Notre automatisation comprend trois éléments principaux :

1. Un fichier de configuration JSON spécifiant les sujets à créer ou à supprimer.
2. Une application Node.js interagissant avec Kafka pour effectuer ces opérations.
3. Un workflow GitHub Actions déclenchant l'automatisation lors des modifications du fichier de configuration JSON.

Construisons chaque composant.

Configuration du fichier de configuration

L'application lit un fichier JSON listant les sujets à créer ou à supprimer. Cela permet des modifications contrôlées par la version via les requêtes pull GitHub. Après avoir fusionné un PR, le code lit le fichier mis à jour et crée/supprime des sujets en conséquence.

Créer topics.json :

{
  "create": [],
  "delete": []
}

Cette structure fournit un enregistrement contrôlé par version des actions de gestion de sujets. Le tableau create répertorie les sujets à créer, tandis que delete répertorie les sujets à supprimer.

Création de l'API de gestion des sujets

Créer api.js :

async function createTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.createTopics({
      topics: topics.map((topic) => ({
        topic,
        numPartitions: 1,        // Adjust as needed
        replicationFactor: 3,    // Adjust as needed
        configEntries: [
          { name: "min.insync.replicas", value: "2" }  // Adjust as needed
        ],
      })),
    });
  }
}

async function deleteTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.deleteTopics({ topics: topics });
  }
}

module.exports = { createTopics, deleteTopics };

Ce module exporte des fonctions de création et de suppression de sujets Kafka. Ajustez les valeurs de configuration (partitions, facteur de réplication, min.insync.replicas) en fonction de vos besoins.

Création de l'application principale

Créer index.js :

const { Kafka } = require("kafkajs");
const { createTopics, deleteTopics } = require("./api");
const topics = require("../topics.json");

// ... (Kafka connection details using environment variables) ...

const kafka = new Kafka({
  // ... (Kafka connection configuration) ...
});

const admin = kafka.admin();

admin.connect().then(async () => {
  const existingTopics = await admin.listTopics();

  // Create only non-existent topics
  const newTopics = topics.create.filter((x) => !existingTopics.includes(x));
  await createTopics(newTopics, admin);

  // Delete only existing topics
  const deletionTopics = topics.delete.filter((x) => existingTopics.includes(x));
  await deleteTopics(deletionTopics, admin);

  await admin.disconnect();
});

Cette application gère la connexion Kafka, lit la configuration du sujet et orchestre la création/suppression de sujets. Il comprend des protections contre les opérations en double et garantit une gestion propre des connexions.

Automatiser le déploiement avec les actions GitHub

Intégrez l'application de gestion de sujets dans un pipeline CI/CD à l'aide de GitHub Actions. Cela automatise l'exécution chaque fois que la configuration du sujet change.

Ajouter .github/workflows/kafka.yml :

# ... (GitHub Actions workflow YAML configuration -  This section needs significant adaptation for a real-world scenario and would require setting up AWS credentials, ECR, and Kubernetes cluster details. The provided example is incomplete and illustrative only.) ...

Ce workflow automatise la construction, la conteneurisation (à l'aide de Docker), le transfert vers un registre de conteneurs (comme Amazon ECR) et le déploiement sur Kubernetes en tant que tâche.

Conclusion

Ce guide montre l'automatisation de la création et de la suppression de sujets Kafka à l'aide de JavaScript et des actions GitHub. Cette approche, utilisant un fichier de configuration JSON et GitHub Actions, fournit une solution évolutive pour gérer les sujets Kafka à mesure que votre système se développe. L'intégration de la gestion des sujets dans votre pipeline CI/CD garantit des configurations de sujets cohérentes et fiables dans l'ensemble de votre déploiement Kafka. Cela transforme la gestion manuelle des sujets en un processus rationalisé et automatisé aligné sur les pratiques DevOps modernes. Le code fourni sert de base pour la personnalisation et l'adaptation à vos besoins spécifiques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!