自動(dòng)化 Kafka 主題建立和刪除對於使用事件驅(qū)動(dòng)架構(gòu)的開發(fā)人員至關(guān)重要。 隨著 Kafka 部署的擴(kuò)展，無論您是處理不斷增長的系統(tǒng)還是實(shí)施基礎(chǔ)設(shè)施即程式碼，手動(dòng)管理都變得不切實(shí)際。本指南示範(fàn)如何使用 JavaScript 和 GitHub Actions 自動(dòng)化此流程，並將其無縫整合到您的 DevOps 工作流程中。

手動(dòng) Kafka 主題管理的挑戰(zhàn)

Kafka 主題是活動(dòng)組織的基礎(chǔ)。 隨著您的架構(gòu)擴(kuò)展，您將需要不同的主題：

• 將不同的事件類型分類
• 儲存過濾後的事件子集
• 維護(hù)轉(zhuǎn)換後的事件版本

隨著系統(tǒng)的成長，手動(dòng)主題管理變得複雜且容易出錯(cuò)。每個(gè)新服務(wù)可能需要新主題，每個(gè)環(huán)境（開發(fā)、登臺、生產(chǎn)）都需要自己一致的配置集。 如果沒有自動(dòng)化，這種手動(dòng)開銷會減慢開發(fā)速度並增加配置錯(cuò)誤。

自動(dòng)化主題管理的好處

自動(dòng)化 Kafka 主題建立和刪除具有顯著優(yōu)勢：

1. 所有環(huán)境中一致的主題配置。
2. 減少主題管理中的人為錯(cuò)誤。
3. 主題配置的版本控制。
4. 簡化的 DevOps 工作流程。
5. 將主題變更整合到 CI/CD 管道中。

選出正確的工具

本教學(xué)使用 JavaScript 作為其自動(dòng)化解決方案。雖然其他語言也是可能的，但 JavaScript 有以下優(yōu)點(diǎn)：

• 比 Bash 更簡單的腳本。
• 利用現(xiàn)有團(tuán)隊(duì) JavaScript 專業(yè)知識。
• 透過 npm 豐富的軟體包生態(tài)系。
• Kafka 操作的簡潔非同步/等待語法。

此解決方案作為 Node.js 應(yīng)用程式實(shí)現(xiàn)，作為 Kubernetes 作業(yè)運(yùn)行，非常適合使用 VPC 可存取的 Kafka 叢集的團(tuán)隊(duì)。

設(shè)定應(yīng)用程式

您需要一個(gè) Node.js 專案。使用 npm init -y 建立一個(gè)。 如果未安裝 Node.js 和 npm，請從http://m.miracleart.cn/link/0d78f6439e652fdbf801d103430d2e12下載。

在您的專案目錄中，執(zhí)行 npm install kafkajs 安裝 Kafka JavaScript 用戶端。

實(shí)施解決方案

我們的自動(dòng)化包含三個(gè)核心元件：

1. 指定要建立或刪除的主題的 JSON 設(shè)定檔。
2. Node.js 應(yīng)用程式與 Kafka 互動(dòng)來執(zhí)行這些操作。
3. GitHub Actions 工作流程在 JSON 設(shè)定檔變更時(shí)觸發(fā)自動(dòng)化。

讓我們建構(gòu)每個(gè)元件。

設(shè)定檔設(shè)定

應(yīng)用程式讀取列出要建立或刪除的主題的 JSON 檔案。 這允許透過 GitHub 拉取請求進(jìn)行版本控制的變更。 合併 PR 後，程式碼會讀取更新的檔案並相應(yīng)地建立/刪除主題。

建立topics.json:

{
  "create": [],
  "delete": []
}

此結(jié)構(gòu)提供主題管理操作的版本控制記錄。 create 陣列列出了要建立的主題，而 delete 列出了要?jiǎng)h除的主題。

建構(gòu)主題管理 API

建立api.js:

async function createTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.createTopics({
      topics: topics.map((topic) => ({
        topic,
        numPartitions: 1,        // Adjust as needed
        replicationFactor: 3,    // Adjust as needed
        configEntries: [
          { name: "min.insync.replicas", value: "2" }  // Adjust as needed
        ],
      })),
    });
  }
}

async function deleteTopics(topics, kafkaAdmin) {
  if (topics.length > 0) {
    await kafkaAdmin.deleteTopics({ topics: topics });
  }
}

module.exports = { createTopics, deleteTopics };

此模組匯出用於建立和刪除 Kafka 主題的函數(shù)。 根據(jù)您的需求調(diào)整配置值（分割區(qū)、複製因子、min.insync.replicas）。

建立主應(yīng)用程式

建立index.js:

const { Kafka } = require("kafkajs");
const { createTopics, deleteTopics } = require("./api");
const topics = require("../topics.json");

// ... (Kafka connection details using environment variables) ...

const kafka = new Kafka({
  // ... (Kafka connection configuration) ...
});

const admin = kafka.admin();

admin.connect().then(async () => {
  const existingTopics = await admin.listTopics();

  // Create only non-existent topics
  const newTopics = topics.create.filter((x) => !existingTopics.includes(x));
  await createTopics(newTopics, admin);

  // Delete only existing topics
  const deletionTopics = topics.delete.filter((x) => existingTopics.includes(x));
  await deleteTopics(deletionTopics, admin);

  await admin.disconnect();
});

該應(yīng)用程式處理 Kafka 連接、讀取主題配置並協(xié)調(diào)主題創(chuàng)建/刪除。 它包括防止重複操作的保護(hù)措施並確保乾淨(jìng)的連接處理。

使用 GitHub Actions 進(jìn)行自動(dòng)化部署

使用 GitHub Actions 將主題管理應(yīng)用程式整合到 CI/CD 管道中。 每當(dāng)主題配置發(fā)生變化時(shí)，這就會自動(dòng)執(zhí)行。

加.github/workflows/kafka.yml：

# ... (GitHub Actions workflow YAML configuration -  This section needs significant adaptation for a real-world scenario and would require setting up AWS credentials, ECR, and Kubernetes cluster details. The provided example is incomplete and illustrative only.) ...

此工作流程會自動(dòng)執(zhí)行建置、容器化（使用 Docker）、推送至容器註冊表（如 Amazon ECR）以及作為作業(yè)部署到 Kubernetes。

結(jié)論

本指南示範(fàn)了使用 JavaScript 和 GitHub Actions 自動(dòng)建立和刪除 Kafka 主題。 這種方法使用 JSON 設(shè)定檔和 GitHub Actions，提供了一個(gè)可擴(kuò)展的解決方案，用於隨著系統(tǒng)的成長管理 Kafka 主題。 將主題管理整合到 CI/CD 管道中可確保整個(gè) Kafka 部署中的主題配置一致且可靠。 這將手動(dòng)主題管理轉(zhuǎn)變?yōu)榕c現(xiàn)代 DevOps 實(shí)踐保持一致的簡化、自動(dòng)化流程。 提供的代碼可作為自訂和適應(yīng)您的特定要求的基礎(chǔ)。

以上是如何使用 GitHub Actions 和 JavaScript 自動(dòng)建立和刪除 Kafka 主題的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！