Apache Kafka 入門

Apache Kafka 是一個強大的分散式事件流平台，每天能夠處理數萬億個事件。 Kafka 最初由 LinkedIn 開發並於 2011 年初開源，現已發展成為許多現代資料架構的核心骨幹。在本指南中，我們將引導您完成開始使用 Apache Kafka 所需的一切，從了解其架構到設定並執行基本操作。

阿帕契卡夫卡簡介

Apache Kafka 旨在處理即時資料來源。它作為一個高吞吐量、低延遲的平台來處理資料流。 Kafka通常用於建立即時串流資料管道和適應資料流的應用程式。一些常見的用例包括日誌聚合、即時分析和串流處理。

關鍵概念和術語

在深入了解設定和操作之前，有必要先了解 Kafka 中的一些關鍵概念和術語：

• 生產者：向 Kafka 主題發送訊息的應用程式。
• 消費者：從 Kafka 主題讀取訊息的應用程式。
• 主題：生產者向其發送訊息的類別或提要名稱。
• Broker：儲存與服務 Kafka 主題的 Kafka 伺服器。
• 分區：主題的可擴展性和平行處理的劃分。
• 偏移量：分區內每個訊息的唯一識別碼。

設定 Apache Kafka

設定 Apache Kafka 涉及幾個步驟，包括下載必要的軟體、設定它和啟動服務。在本節中，我們將提供詳細的演練，以確保您可以順利啟動並運行 Kafka 環境。

先決條件

開始設定 Kafka 之前，請確保您的系統符合以下先決條件：

1. Java 開發套件 (JDK)：Kafka 需要 Java 8 或更高版本。您可以使用以下命令檢查您的 Java 版本：
   

   java -version
   

   如果未安裝 Java，您可以從 Oracle 網站下載並安裝它，或使用套件管理器，例如適用於基於 Debian 的系統的 apt 或適用於 macOS 的brew：
   

   # For Debian-based systems
   sudo apt update
   sudo apt install openjdk-11-jdk
   
   # For macOS
   brew install openjdk@11
   

2. Apache ZooKeeper：Kafka 使用 ZooKeeper 來管理分散式設定和同步。 ZooKeeper 與 Kafka 捆綁在一起，因此您無需單獨安裝。

下載並安裝卡夫卡

1. 下載 Kafka：造訪官方 Apache Kafka 下載頁面並下載最新版本的 Kafka。截至撰寫本文時，Kafka 2.8.0 是最新的穩定版本。
   

   wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz
   

2. 解壓縮下載的檔案：將 tar 檔案解壓縮到您選擇的目錄。
   

   tar -xzf kafka_2.13-2.8.0.tgz
   cd kafka_2.13-2.8.0
   

3. 啟動 ZooKeeper：Kafka 需要 ZooKeeper 才能運作。使用提供的設定檔啟動 ZooKeeper 服務。
   

   bin/zookeeper-server-start.sh config/zookeeper.properties
   

   ZooKeeper 應在預設連接埠 2181 上啟動。您應該會看到指示 ZooKeeper 已啟動並正在執行的日誌訊息。

4. 啟動 Kafka Broker：開啟新的終端機視窗並使用提供的設定檔啟動 Kafka Broker。
   

   bin/kafka-server-start.sh config/server.properties
   

   Kafka 應在預設連接埠 9092 上啟動。您應該會看到指示 Kafka 代理程式已啟動並正在執行的日誌訊息。

卡夫卡配置

雖然預設配置適合開發和測試，但您可能需要為生產環境自訂設定。一些關鍵設定檔包括：

• server.properties：此檔案包含 Kafka Broker 的配置，例如 Broker ID、日誌目錄和偵聽器。
• zookeeper.properties：此檔案包含ZooKeeper的配置，例如資料目錄和客戶端連接埠。

您可以編輯這些設定檔以滿足您的需求。例如，要變更日誌目錄，您可以編輯 server.properties 檔案中的 log.dirs 屬性：

log.dirs=/path/to/your/kafka-logs

建立 Systemd 服務文件

為了方便管理，特別是在Linux伺服器上，您可以為ZooKeeper和Kafka建立systemd服務檔案。這允許您使用 systemctl 啟動、停止和重新啟動這些服務。

1. ZooKeeper服務檔案：在/etc/systemd/system/目錄下建立一個名為zookeeper.service的檔案：
   

   [Unit]
   Description=Apache ZooKeeper
   After=network.target
   
   [Service]
   Type=simple
   ExecStart=/path/to/kafka/bin/zookeeper-server-start.sh /path/to/kafka/config/zookeeper.properties
   ExecStop=/path/to/kafka/bin/zookeeper-server-stop.sh
   Restart=on-abnormal
   
   [Install]
   WantedBy=multi-user.target
   

2. Kafka 服務檔案：在 /etc/systemd/system/ 目錄下建立一個名為 kafka.service 的檔案：
   

   [Unit]
   Description=Apache Kafka
   After=zookeeper.service
   
   [Service]
   Type=simple
   ExecStart=/path/to/kafka/bin/kafka-server-start.sh /path/to/kafka/config/server.properties
   ExecStop=/path/to/kafka/bin/kafka-server-stop.sh
   Restart=on-abnormal
   
   [Install]
   WantedBy=multi-user.target
   

3. Enable and Start Services: Enable and start the services using systemctl:
   

   sudo systemctl enable zookeeper
   sudo systemctl start zookeeper
   
   sudo systemctl enable kafka
   sudo systemctl start kafka
   

   You can now manage ZooKeeper and Kafka using standard systemctl commands (start, stop, status, restart).

Verifying the Installation

To verify that your Kafka setup is working correctly, you can perform some basic operations such as creating a topic, producing messages, and consuming messages.

1. Creating a Topic:
   

   bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
   

   You should see a confirmation message indicating that the topic has been created successfully.

2. Producing Messages:
   

   bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
   

   Type a few messages in the console and press Enter after each message.

3. Consuming Messages:
   Open a new terminal window and run:
   

   bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092
   

   You should see the messages you produced in the previous step.

By following these steps, you should have a fully functional Apache Kafka environment set up on your system. This setup forms the foundation for developing and deploying real-time data streaming applications using Kafka.

Conclusion

Getting started with Apache Kafka can seem daunting, but with the right guidance, you can quickly get up to speed. This guide provided a comprehensive introduction to Kafka, from installation to basic operations and building simple producers and consumers. As you continue to explore Kafka, you will uncover its full potential for building robust, real-time data pipelines.

By following this guide, you’ve taken the first steps in mastering Apache Kafka. Happy streaming!

以上是Apache Kafka 入門的詳細內容。更多資訊請關注PHP中文網其他相關文章！