|
|
| （未顯示同一使用者於中間所作的 27 次修訂） |
| 第3行： |
第3行： |
| == 介紹 == | | == 介紹 == |
|
| |
|
| Kafka本身不過多處理多節點之間的效能問題，而是透過[[ZooKeeper]]處理。可以從「[[#測試]]」的章節看到操作時都是指定ZooKeeper當作API Endpoint。在Production環境上，一般我們會用TCP load balancer放在前面，可以讓用戶端架構比較簡單（僅需設定單一主機名稱）。 | | Kafka本身不過多處理多節點之間的效能分配問題，而是透過KRaft（以前的版本則是[[ZooKeeper]]）處理。 |
| | |
| | 在Production環境上，一般我們會用TCP load balancer放在前面，讓用戶端架構比較簡單（僅需設定單一名稱）。 |
|
| |
|
| == 安裝 == | | == 安裝 == |
|
| |
|
| 目前在[[Ubuntu]]上沒有系統套件或是PPA可以安裝，一般是自行下載後裝到<code>/opt</code>下。最新版的資訊可以在Kafka的[https://kafka.apache.org/downloads Download]頁面得到，這邊使用2.1.1版：
| | {{See also|Confluent}} |
| | | 這邊建議直接裝[[Confluent]]的版本。 |
| <syntaxhighlight lang="bash">
| |
| cd /tmp
| |
| wget https://ftp.jaist.ac.jp/pub/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
| |
| cd /opt
| |
| sudo tar zxvf /tmp/kafka_2.12-2.1.1.tgz
| |
| sudo ln -fs kafka_2.12-2.1.1 kafka
| |
| </syntaxhighlight>
| |
| | |
| == 設定 ==
| |
| | |
| * 修改<code>/opt/kafka/config/server.properties</code>內的<code>broker.id</code>，這邊一台設<code>1</code>，另外一台設<code>2</code>。
| |
| * 修改<code>/opt/kafka/config/server.properties</code>內的<code>zookeeper.connect</code>：
| |
| ** 改成三台ZooKeeper主機的位置，像是<code>zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181</code>。
| |
| ** 或是改成對應的TCP load balancer，像是<code>test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com</code>。
| |
| | |
| == 測試 ==
| |
| | |
| 沒有TCP load balancer時（其中所有的<code>:2181</code>都可以簡化，因為ZooKeeper的預設就是Port 2181）：
| |
| | |
| <syntaxhighlight lang="shell">
| |
| /opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
| |
| /opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
| |
| /opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
| |
| </syntaxhighlight>
| |
|
| |
|
| 有TCP load balancer時：
| | == 相關連結 == |
|
| |
|
| <syntaxhighlight lang="shell">
| | * [[Apache ZooKeeper]] |
| /opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
| | * [[Confluent]] |
| /opt/kafka/bin/kafka-topics.sh --create --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com --replication-factor 2 --partitions 1 --topic my-replicated-topic
| |
| /opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
| |
| </syntaxhighlight>
| |
|
| |
|
| == 外部連結 == | | == 外部連結 == |
| 第46行： |
第21行： |
| * {{Official|https://kafka.apache.org/}} {{en}} | | * {{Official|https://kafka.apache.org/}} {{en}} |
| * [https://kafka.apache.org/quickstart Quickstart] {{en}} | | * [https://kafka.apache.org/quickstart Quickstart] {{en}} |
| | * [https://gist.github.com/vipmax/9ceeaa02932ba276fa810c923dbcbd4f kafka installation and systemd] {{en}} |
|
| |
|
| [[Category:軟體]] | | [[Category:軟體]] |
Apache Kafka是一套基於Java與Scala，提供Streaming架構的軟體。
介紹
Kafka本身不過多處理多節點之間的效能分配問題，而是透過KRaft（以前的版本則是ZooKeeper）處理。
在Production環境上，一般我們會用TCP load balancer放在前面，讓用戶端架構比較簡單（僅需設定單一名稱）。
安裝
這邊建議直接裝Confluent的版本。
相關連結
外部連結