「Apache Kafka」:修訂間差異

出自Gea-Suan Lin's Wiki
跳至導覽 跳至搜尋
本頁面具有訪問限制。如果您看見此訊息,這代表您沒有訪問本頁面的權限。
行 1: 行 1:
'''Apache Kafka'''是一套基於[[Java]]與[[Scala]],提供Streaming架構的軟體。
'''Apache Kafka'''是一套基於[[Java]]與[[Scala]],提供Streaming架構的軟體。
== 介紹 ==
Kafka本身不過多處理多節點之間的效能問題,而是透過[[ZooKeeper]]處理。可以從「測試」的章節看到操作時都是指定ZooKeeper當作API Endpoint。


== 安裝 ==
== 安裝 ==

於 2019年3月5日 (二) 04:19 的修訂

Apache Kafka是一套基於JavaScala,提供Streaming架構的軟體。

介紹

Kafka本身不過多處理多節點之間的效能問題,而是透過ZooKeeper處理。可以從「測試」的章節看到操作時都是指定ZooKeeper當作API Endpoint。

安裝

目前在Ubuntu上沒有系統套件或是PPA可以安裝,一般是自行下載後裝到/opt下。最新版的資訊可以在Kafka的Download頁面得到,這邊使用2.1.1版:

cd /tmp
wget https://ftp.jaist.ac.jp/pub/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
cd /opt
sudo tar zxvf /tmp/kafka_2.12-2.1.1.tgz
sudo ln -fs kafka_2.12-2.1.1 kafka

設定

  • 修改/opt/kafka/config/server.properties內的broker.id,這邊一台設1,另外一台設2
  • 修改/opt/kafka/config/server.properties內的zookeeper.connect,改成三台ZooKeeper主機的位置,像是zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181

測試

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181

外部連結