「Apache Kafka」：修訂間差異
跳至導覽
跳至搜尋
本頁面具有訪問限制。如果您看見此訊息，這代表您沒有訪問本頁面的權限。
（→設定） |
（→設定） |
||
| 行 20： | 行 20： | ||
== 設定 == | == 設定 == | ||
先 修改<code>/opt/kafka/config/server.properties</code>內的 一些設定： | |||
<syntaxhightlight lang="ini"> | |||
# 每一台都要不同 | |||
broker.id=1 | |||
# | |||
log.dir=/var/lib/kafka-logs | |||
# w/o TCP load balancer (ELB in this case) and w/. ":2181" can be implicit due to default port. | |||
zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 | |||
zookeeper.connect=1.2.3.4,5.6.7.8,9.10.11.12 | |||
zookeeper.connect=test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181 | |||
zookeeper.connect=test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com | |||
</syntaxhighlight> | |||
建立對應 的log 目錄與權限 ： | |||
<syntaxhighlight lang="bash"> | |||
sudo install -d -o nobody -g nogroup -m 0700 /var/lib/kafka-logs | |||
</syntaxhighlight> | |||
安裝systemd設定（<code>/lib/systemd/system/kafka.service</code>）： | |||
<syntaxhighlight lang="ini"> | <syntaxhighlight lang="ini"> | ||
[Unit] | [Unit] | ||
| 行 44： | 行 61： | ||
[Install] | [Install] | ||
WantedBy=multi-user.target | WantedBy=multi-user.target | ||
</syntaxhighlight> | |||
使用下面指令設定在開機時啟動，並且馬上啟動： | |||
<syntaxhighlight lang="bash"> | |||
sudo systemctl daemon-reload | |||
sudo systemctl enable kafka | |||
sudo service kafka start | |||
</syntaxhighlight> | </syntaxhighlight> | ||
於 2019年3月5日 (二) 05:14 的修訂
Apache Kafka是一套基於Java與Scala，提供Streaming架構的軟體。
介紹
Kafka本身不過多處理多節點之間的效能問題，而是透過ZooKeeper處理。可以從「#測試」的章節看到操作時都是指定ZooKeeper當作API Endpoint。在Production環境上，一般我們會用TCP load balancer放在前面，讓用戶端架構比較簡單（僅需設定單一名稱）。
安裝
目前在Ubuntu上沒有系統套件或是PPA可以安裝，一般是自行下載後裝到/opt下。最新版的資訊可以在Kafka的Download頁面得到，這邊使用2.1.1版：
cd /tmp
wget https://ftp.jaist.ac.jp/pub/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
cd /opt
sudo tar zxvf /tmp/kafka_2.12-2.1.1.tgz
sudo chown -R nobody:nogroup kafka_2.12-2.1.1/
sudo ln -fs kafka_2.12-2.1.1 kafka
設定
先修改/opt/kafka/config/server.properties內的一些設定：
<syntaxhightlight lang="ini">
- 每一台都要不同
broker.id=1
log.dir=/var/lib/kafka-logs
- w/o TCP load balancer (ELB in this case) and w/. ":2181" can be implicit due to default port.
zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 zookeeper.connect=1.2.3.4,5.6.7.8,9.10.11.12 zookeeper.connect=test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181 zookeeper.connect=test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com </syntaxhighlight>
建立對應的log目錄與權限：
sudo install -d -o nobody -g nogroup -m 0700 /var/lib/kafka-logs
安裝systemd設定（/lib/systemd/system/kafka.service）：
[Unit]
Description=Apache Kafka server (broker)
Documentation=https://kafka.apache.org/documentation.html
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
User=nobody
Group=nogroup
Environment=JAVA_HOME=/usr
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
[Install]
WantedBy=multi-user.target
使用下面指令設定在開機時啟動，並且馬上啟動：
sudo systemctl daemon-reload
sudo systemctl enable kafka
sudo service kafka start
測試
沒有TCP load balancer時可以直接指定所有的ZooKeeper主機：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
其中所有的:2181都可以簡化省略，因為ZooKeeper的預設Port就是Port 2181：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4,5.6.7.8,9.10.11.12
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4,5.6.7.8,9.10.11.12 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4,5.6.7.8,9.10.11.12
有TCP load balancer時：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
/opt/kafka/bin/kafka-topics.sh --create --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
外部連結
- 官方網站 （英文）
- Quickstart （英文）
- kafka installation and systemd （英文）