Kafka トピックの作成と削除を自動(dòng)化することは、イベント駆動(dòng)型アーキテクチャを使用する開発者にとって重要です。 成長するシステムを扱う場合でも、インフラストラクチャをコードとして実裝する場合でも、Kafka デプロイメントが拡大するにつれて、手動(dòng)管理は非現(xiàn)実的になります。このガイドでは、JavaScript と GitHub Actions を使用してこのプロセスを自動(dòng)化し、DevOps ワークフローにシームレスに統(tǒng)合する方法を説明します。

手動(dòng)による Kafka トピック管理の課題

Kafka のトピックはイベント開催の基礎(chǔ)です。 アーキテクチャが拡張するにつれて、次のような多様なトピックが必要になります。

• さまざまなイベントの種類を分類する
• フィルターされたイベントのサブセットの保存
• 変換されたイベントのバージョンを維持する

システムの成長に伴い、手動(dòng)によるトピック管理は複雑になり、エラーが発生しやすくなります。新しいサービスごとに新しいトピックが必要になる場合があり、各環(huán)境 (開発、ステージング、運(yùn)用) には、一貫して構(gòu)成された獨(dú)自のセットが必要です。 自動(dòng)化を行わないと、この手動(dòng)のオーバーヘッドにより開発が遅くなり、構(gòu)成エラーが増加します。

トピック管理を自動(dòng)化する利點(diǎn)

Kafka トピックの作成と削除を自動(dòng)化すると、次のような大きな利點(diǎn)があります。

1. すべての環(huán)境で一貫したトピック構(gòu)成。
2. トピック管理における人的エラーの削減。
3. トピック構(gòu)成のバージョン管理。
4. 合理化された DevOps ワークフロー。
5. トピックの変更を CI/CD パイプラインに統(tǒng)合します。

適切なツールの選択

このチュートリアルでは、自動(dòng)化ソリューションに JavaScript を利用します。他の言語も使用できますが、JavaScript には次のような利點(diǎn)があります。

• Bash よりもシンプルなスクリプト。
• 既存のチーム JavaScript の専門知識(shí)を活用します。
• npm を介したリッチパッケージエコシステム。
• Kafka 操作のクリーンな async/await 構(gòu)文。

このソリューションは、Kubernetes ジョブとして実行される Node.js アプリケーションとして実裝されており、VPC からアクセス可能な Kafka クラスターを使用するチームに最適です。

アプリケーションのセットアップ

Node.js プロジェクトが必要です。 npm init -y を使用して作成します。 Node.js と npm がインストールされていない場合は、http://m.miracleart.cn/link/0d78f6439e652fdbf801d103430d2e12 からダウンロードします。

プロジェクト ディレクトリで npm install kafkajs を?qū)g行して、Kafka JavaScript クライアントをインストールします。

ソリューションの実裝

私たちの自動(dòng)化は 3 つのコアコンポーネントで構(gòu)成されています:

1. 作成または削除するトピックを指定する JSON 構(gòu)成ファイル。
2. これらの操作を?qū)g行するために Kafka と対話する Node.js アプリケーション。
3. JSON 設(shè)定ファイルの変更時(shí)に自動(dòng)化をトリガーする GitHub Actions ワークフロー。

各コンポーネントを構(gòu)築しましょう。

設(shè)定ファイルのセットアップ

アプリケーションは、作成または削除するトピックをリストした JSON ファイルを読み取ります。 これにより、GitHub プル リクエストを介してバージョン管理された変更が可能になります。 PR をマージした後、コードは更新されたファイルを読み取り、それに応じてトピックを作成/削除します。

topics.jsonを作成:

{
  "create": [],
  "delete": []
}

この構(gòu)造は、トピック管理アクションのバージョン管理された記録を提供します。 create 配列には作成用のトピックがリストされ、delete には削除用のトピックがリストされます。

トピック管理 API の構(gòu)築

api.jsを作成:

async function createTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.createTopics({
      topics: topics.map((topic) => ({
        topic,
        numPartitions: 1,        // Adjust as needed
        replicationFactor: 3,    // Adjust as needed
        configEntries: [
          { name: "min.insync.replicas", value: "2" }  // Adjust as needed
        ],
      })),
    });
  }
}

async function deleteTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.deleteTopics({ topics: topics });
  }
}

module.exports = { createTopics, deleteTopics };

このモジュールは、Kafka トピックを作成および削除するための関數(shù)をエクスポートします。 ニーズに基づいて構(gòu)成値 (パーティション、レプリケーション係數(shù)、min.insync.replicas) を調(diào)整します。

メインアプリケーションの作成

index.jsを作成:

const { Kafka } = require("kafkajs");
const { createTopics, deleteTopics } = require("./api");
const topics = require("../topics.json");

// ... (Kafka connection details using environment variables) ...

const kafka = new Kafka({
  // ... (Kafka connection configuration) ...
});

const admin = kafka.admin();

admin.connect().then(async () => {
  const existingTopics = await admin.listTopics();

  // Create only non-existent topics
  const newTopics = topics.create.filter((x) => !existingTopics.includes(x));
  await createTopics(newTopics, admin);

  // Delete only existing topics
  const deletionTopics = topics.delete.filter((x) => existingTopics.includes(x));
  await deleteTopics(deletionTopics, admin);

  await admin.disconnect();
});

このアプリケーションは、Kafka 接続を処理し、トピック構(gòu)成を読み取り、トピックの作成/削除を調(diào)整します。 これには重複操作に対する保護(hù)機(jī)能が含まれており、クリーンな接続処理が保証されます。

GitHub Actions によるデプロイメントの自動(dòng)化

GitHub Actions を使用して、トピック管理アプリケーションを CI/CD パイプラインに統(tǒng)合します。 これにより、トピック構(gòu)成が変更されるたびに実行が自動(dòng)化されます。

.github/workflows/kafka.ymlを追加:

# ... (GitHub Actions workflow YAML configuration -  This section needs significant adaptation for a real-world scenario and would require setting up AWS credentials, ECR, and Kubernetes cluster details. The provided example is incomplete and illustrative only.) ...

このワークフローは、ビルド、コンテナ化 (Docker を使用)、コンテナ レジストリ (Amazon ECR など) へのプッシュ、およびジョブとしての Kubernetes へのデプロイを自動(dòng)化します。

結(jié)論

このガイドでは、JavaScript と GitHub Actions を使用した Kafka トピックの作成と削除の自動(dòng)化について説明します。 JSON 構(gòu)成ファイルと GitHub Actions を使用するこのアプローチは、システムの成長に合わせて Kafka トピックを管理するためのスケーラブルなソリューションを提供します。 トピック管理を CI/CD パイプラインに統(tǒng)合すると、Kafka デプロイメント全體で一貫性と信頼性の高いトピック構(gòu)成が保証されます。 これにより、手動(dòng)のトピック管理が、最新の DevOps 実踐に合わせた合理化された自動(dòng)プロセスに変換されます。 提供されたコードは、カスタマイズと特定の要件への適応の基盤として機(jī)能します。

以上がGitHub アクションと JavaScript を使用して Kafka トピックの作成と削除を自動(dòng)化する方法の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。