「Apache Kafka」:修訂間差異

出自Gea-Suan Lin's Wiki
跳至導覽 跳至搜尋
本頁面具有訪問限制。如果您看見此訊息,這代表您沒有訪問本頁面的權限。
無編輯摘要
 
(未顯示同一使用者於中間所作的 34 次修訂)
行 1: 行 1:
'''Apache Kafka'''是一套基於[[Java]]與[[Scala]],提供Streaming架構的軟體。
'''Apache Kafka'''是一套基於[[Java]]與[[Scala]],提供Streaming架構的軟體。


==  安裝 ==
==  介紹 ==


[[Ubuntu]] 上沒有系統套件或是PPA可以安裝,一般是自行下載後裝到<code>/opt</code>下 最新版的資訊可以在Kafka的[https://kafka.apache.org/downloads Download]頁面得到,這邊使用2.1.1版:
Kafka本身不過多處理多節點之間的效能分配問題,而是透過KRaft(以 的版本則是[[ZooKeeper]] )處理


<syntaxhighlight lang="bash">
在Production環境上,一般我們會用TCP load balancer放在前面,讓用戶端架構比較簡單(僅需設定單一名稱)。
cd /tmp
wget https://ftp.jaist.ac.jp/pub/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
cd /opt
sudo tar zxvf /tmp/kafka_2.12-2.1.1.tgz
sudo ln -fs kafka_2.12-2.1.1 kafka
</syntaxhighlight>


==  設定 ==
==  安裝 ==


* 修改<code>/opt/kafka/config/server.properties</code>內的<code>broker.id</code>, 這邊 一台設<code>1</code>,另外一台設<code>2</code>。
{{See also|Confluent}}
* 修改<code>/opt/kafka/config/server.properties</code>內的<code>zookeeper.connect</code>,改成三台ZooKeeper主機 位置,像是<code>zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181</code>
 這邊 建議直接裝[[Confluent]] 版本


==  測試 ==
==  相關連結 ==


<syntaxhighlight lang="shell">
* [[Apache ZooKeeper]]
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
* [[Confluent]]
</syntaxhighlight>


== 外部連結 ==
== 外部連結 ==


* {{Official|https://kafka.apache.org/}} {{en}}
* {{Official|https://kafka.apache.org/}} {{en}}
* [https://kafka.apache.org/quickstart Quickstart] {{en}}
* [https://gist.github.com/vipmax/9ceeaa02932ba276fa810c923dbcbd4f kafka installation and systemd] {{en}}


[[Category:軟體]]
[[Category:軟體]]

於 2023年10月3日 (二) 06:48 的最新修訂

Apache Kafka是一套基於JavaScala,提供Streaming架構的軟體。

介紹

Kafka本身不過多處理多節點之間的效能分配問題,而是透過KRaft(以前的版本則是ZooKeeper)處理。

在Production環境上,一般我們會用TCP load balancer放在前面,讓用戶端架構比較簡單(僅需設定單一名稱)。

安裝

這邊建議直接裝Confluent的版本。

相關連結

外部連結