Die Automatisierung der Erstellung und L?schung von Kafka-Themen ist für Entwickler, die ereignisgesteuerte Architekturen verwenden, von entscheidender Bedeutung. Die manuelle Verwaltung wird mit zunehmender Gr??e Ihrer Kafka-Bereitstellung unpraktisch, unabh?ngig davon, ob Sie es mit einem wachsenden System zu tun haben oder Infrastruktur als Code implementieren. Dieser Leitfaden zeigt, wie Sie diesen Prozess mithilfe von JavaScript und GitHub-Aktionen automatisieren und ihn nahtlos in Ihren DevOps-Workflow integrieren.

Die Herausforderungen des manuellen Kafka-Themenmanagements

Kafka-Themen sind für die Organisation von Veranstaltungen von grundlegender Bedeutung. Wenn Ihre Architektur w?chst, ben?tigen Sie verschiedene Themen für:

• Kategorisierung verschiedener Ereignistypen
• Speichern gefilterter Ereignisteilmengen
• Verwaltung transformierter Ereignisversionen

Manuelle Themenverwaltung wird mit zunehmendem Systemwachstum komplex und fehleranf?llig. Für jeden neuen Dienst sind m?glicherweise neue Themen erforderlich, und jede Umgebung (Entwicklung, Bereitstellung, Produktion) ben?tigt einen eigenen, konsistent konfigurierten Satz. Ohne Automatisierung verlangsamt dieser manuelle Aufwand die Entwicklung und erh?ht die Zahl der Konfigurationsfehler.

Vorteile der Automatisierung des Themenmanagements

Die Automatisierung der Erstellung und L?schung von Kafka-Themen bietet erhebliche Vorteile:

1. Konsistente Themenkonfiguration in allen Umgebungen.
2. Reduziert menschliche Fehler bei der Themenverwaltung.
3. Versionskontrolle für Themenkonfigurationen.
4. Optimierte DevOps-Workflows.
5. Integration von Themen?nderungen in Ihre CI/CD-Pipeline.

Die richtigen Werkzeuge ausw?hlen

Dieses Tutorial verwendet JavaScript für seine Automatisierungsl?sung. W?hrend andere Sprachen m?glich sind, bietet JavaScript Vorteile:

• Einfacheres Scripting als Bash.
• Nutzt die vorhandene JavaScript-Expertise des Teams.
• Reichhaltiges Paket-?kosystem über npm.
• Async/await-Syntax für Kafka-Vorg?nge bereinigen.

Diese L?sung wird als Node.js-Anwendung implementiert, die als Kubernetes-Job ausgeführt wird, ideal für Teams, die VPC-zug?ngliche Kafka-Cluster verwenden.

Einrichten der Anwendung

Sie ben?tigen ein Node.js-Projekt. Erstellen Sie eines mit npm init -y. Wenn Node.js und npm nicht installiert sind, laden Sie sie von http://m.miracleart.cn/link/0d78f6439e652fdbf801d103430d2e12 herunter.

Führen Sie in Ihrem Projektverzeichnis npm install kafkajs aus, um den Kafka-JavaScript-Client zu installieren.

Implementierung der L?sung

Unsere Automatisierung besteht aus drei Kernkomponenten:

1. Eine JSON-Konfigurationsdatei, die Themen angibt, die erstellt oder gel?scht werden sollen.
2. Eine Node.js-Anwendung, die mit Kafka interagiert, um diese Vorg?nge auszuführen.
3. Ein GitHub-Aktionsworkflow, der bei ?nderungen der JSON-Konfigurationsdatei eine Automatisierung ausl?st.

Lassen Sie uns jede Komponente erstellen.

Konfigurationsdatei-Setup

Die Anwendung liest eine JSON-Datei mit den zu erstellenden oder zu l?schenden Themen. Dies erm?glicht versionierte ?nderungen über GitHub-Pull-Requests. Nach dem Zusammenführen einer PR liest der Code die aktualisierte Datei und erstellt/l?scht entsprechend Themen.

Erstellen Sie topics.json:

{
  "create": [],
  "delete": []
}

Diese Struktur bietet eine versionierte Aufzeichnung von Themenverwaltungsaktionen. Das Array create listet Themen zur Erstellung auf, w?hrend delete Themen zum Entfernen auflistet.

Erstellen der Themenverwaltungs-API

Erstellen Sie api.js:

async function createTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.createTopics({
      topics: topics.map((topic) => ({
        topic,
        numPartitions: 1,        // Adjust as needed
        replicationFactor: 3,    // Adjust as needed
        configEntries: [
          { name: "min.insync.replicas", value: "2" }  // Adjust as needed
        ],
      })),
    });
  }
}

async function deleteTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.deleteTopics({ topics: topics });
  }
}

module.exports = { createTopics, deleteTopics };

Dieses Modul exportiert Funktionen zum Erstellen und L?schen von Kafka-Themen. Passen Sie die Konfigurationswerte (Partitionen, Replikationsfaktor, min.insync.replicas) entsprechend Ihren Anforderungen an.

Erstellen der Hauptanwendung

Erstellen Sie index.js:

const { Kafka } = require("kafkajs");
const { createTopics, deleteTopics } = require("./api");
const topics = require("../topics.json");

// ... (Kafka connection details using environment variables) ...

const kafka = new Kafka({
  // ... (Kafka connection configuration) ...
});

const admin = kafka.admin();

admin.connect().then(async () => {
  const existingTopics = await admin.listTopics();

  // Create only non-existent topics
  const newTopics = topics.create.filter((x) => !existingTopics.includes(x));
  await createTopics(newTopics, admin);

  // Delete only existing topics
  const deletionTopics = topics.delete.filter((x) => existingTopics.includes(x));
  await deleteTopics(deletionTopics, admin);

  await admin.disconnect();
});

Diese Anwendung verwaltet die Kafka-Verbindung, liest die Themenkonfiguration und orchestriert die Themenerstellung/-l?schung. Es enth?lt Schutzma?nahmen gegen doppelte Vorg?nge und sorgt für eine saubere Verbindungsverarbeitung.

Automatisierung der Bereitstellung mit GitHub-Aktionen

Integrieren Sie die Themenverwaltungsanwendung mithilfe von GitHub Actions in eine CI/CD-Pipeline. Dies automatisiert die Ausführung, wenn sich die Themenkonfiguration ?ndert.

Hinzufügen .github/workflows/kafka.yml:

# ... (GitHub Actions workflow YAML configuration -  This section needs significant adaptation for a real-world scenario and would require setting up AWS credentials, ECR, and Kubernetes cluster details. The provided example is incomplete and illustrative only.) ...

Dieser Workflow automatisiert den Build, die Containerisierung (mit Docker), das Pushen in eine Container-Registrierung (wie Amazon ECR) und die Bereitstellung in Kubernetes als Job.

Fazit

Diese Anleitung demonstriert die Automatisierung der Erstellung und L?schung von Kafka-Themen mithilfe von JavaScript und GitHub-Aktionen. Dieser Ansatz, der eine JSON-Konfigurationsdatei und GitHub-Aktionen verwendet, bietet eine skalierbare L?sung für die Verwaltung von Kafka-Themen, wenn Ihr System w?chst. Durch die Integration der Themenverwaltung in Ihre CI/CD-Pipeline stellen Sie konsistente und zuverl?ssige Themenkonfigurationen in Ihrer gesamten Kafka-Bereitstellung sicher. Dadurch wird die manuelle Themenverwaltung in einen optimierten, automatisierten Prozess umgewandelt, der auf moderne DevOps-Praktiken abgestimmt ist. Der bereitgestellte Code dient als Grundlage für die Anpassung und Anpassung an Ihre spezifischen Anforderungen.

Das obige ist der detaillierte Inhalt vonSo automatisieren Sie das Erstellen und L?schen von Kafka-Themen mithilfe von GitHub-Aktionen und JavaScript. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!