Apache Kafka：修订间差异
跳到导航
跳到搜索
此页面具有访问限制。如果您看见此消息，则说明您没有权限访问此页面。
（→測試） |
（→設定） |
||
| 第20行： | 第20行： | ||
* 修改<code>/opt/kafka/config/server.properties</code>內的<code>broker.id</code>，這邊一台設<code>1</code>，另外一台設<code>2</code>。 | * 修改<code>/opt/kafka/config/server.properties</code>內的<code>broker.id</code>，這邊一台設<code>1</code>，另外一台設<code>2</code>。 | ||
* 修改<code>/opt/kafka/config/server.properties</code>內的<code>zookeeper.connect</code> | * 修改<code>/opt/kafka/config/server.properties</code>內的<code>zookeeper.connect</code> ： | ||
** 改成三台ZooKeeper主機的位置，像是<code>zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181</code>。 | |||
** 或是改成對應的TCP load balancer，像是<code>test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com</code>。 | |||
== 測試 == | == 測試 == | ||
2019年3月5日 (二) 04:49的版本
Apache Kafka是一套基于Java与Scala，提供Streaming架构的软体。
介绍
Kafka本身不过多处理多节点之间的效能问题，而是透过ZooKeeper处理。可以从“#测试”的章节看到操作时都是指定ZooKeeper当作API Endpoint。在Production环境上，一般我们会用TCP load balancer放在前面，可以让用户端架构比较简单（仅需设定单一主机名称）。
安装
目前在Ubuntu上没有系统套件或是PPA可以安装，一般是自行下载后装到/opt下。最新版的资讯可以在Kafka的Download页面得到，这边使用2.1.1版：
cd /tmp
wget https://ftp.jaist.ac.jp/pub/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
cd /opt
sudo tar zxvf /tmp/kafka_2.12-2.1.1.tgz
sudo ln -fs kafka_2.12-2.1.1 kafka
设定
- 修改
/opt/kafka/config/server.properties内的broker.id，这边一台设1，另外一台设2。 - 修改
/opt/kafka/config/server.properties内的zookeeper.connect：- 改成三台ZooKeeper主机的位置，像是
zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181。 - 或是改成对应的TCP load balancer，像是
test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com。
- 改成三台ZooKeeper主机的位置，像是
测试
没有TCP load balancer时（其中所有的:2181都可以简化，因为ZooKeeper的预设就是Port 2181）：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
有TCP load balancer时：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
/opt/kafka/bin/kafka-topics.sh --create --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
外部连结
- 官方网站 （英文）
- Quickstart （英文）