Apache Kafka：修订间差异
跳到导航
跳到搜索
此页面具有访问限制。如果您看见此消息，则说明您没有权限访问此页面。
无编辑摘要 |
（→介紹） |
||
| 第3行： | 第3行： | ||
== 介紹 == | == 介紹 == | ||
Kafka本身不過多處理多節點之間的效能分配問題，而是透 | Kafka本身不過多處理多節點之間的效能分配問題，而是透 過KRaft（以前的版本則是[[ZooKeeper]] ） 處理。可以從「[[#測試]]」的章節看到操作時都是指定ZooKeeper當作API Endpoint。在Production環境上，一般我們會用TCP load balancer放在前面，讓用戶端架構比較簡單（僅需設定單一名稱）。 | ||
== 安裝 == | == 安裝 == | ||
2023年10月3日 (二) 06:46的版本
Apache Kafka是一套基于Java与Scala，提供Streaming架构的软件。
介绍
Kafka本身不过多处理多节点之间的效能分配问题，而是透过KRaft（以前的版本则是ZooKeeper）处理。可以从“#测试”的章节看到操作时都是指定ZooKeeper当作API Endpoint。在Production环境上，一般我们会用TCP load balancer放在前面，让用户端架构比较简单（仅需设定单一名称）。
安装
这边建议直接装Confluent的版本。
测试
可以这样测试，可以透过建立一个topic简单确认cluster是否有运作：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181
/opt/kafka/bin/kafka-topics.sh --create --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181
如果ZooKeeper不是使用TCP load balancer时，可以直接指定所有的ZooKeeper主机：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
其中所有的:2181都可以简化省略，因为ZooKeeper的预设Port就是Port 2181：
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
/opt/kafka/bin/kafka-topics.sh --create --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper test-gslin-zookeeper-xxxxxxxxx.us-east-1.elb.amazonaws.com
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4,5.6.7.8,9.10.11.12
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4,5.6.7.8,9.10.11.12 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4,5.6.7.8,9.10.11.12
相关连结
外部链接
- 官方网站 （英文）
- Quickstart （英文）
- kafka installation and systemd （英文）