Apache Kafka:修订间差异

来自Gea-Suan Lin's Wiki
跳到导航 跳到搜索
此页面具有访问限制。如果您看见此消息,则说明您没有权限访问此页面。
第3行: 第3行:
== 介紹 ==
== 介紹 ==


Kafka本身不過多處理多節點之間的效能問題,而是透過[[ZooKeeper]]處理。可以從「測試」的章節看到操作時都是指定ZooKeeper當作API Endpoint。
Kafka本身不過多處理多節點之間的效能問題,而是透過[[ZooKeeper]]處理。可以從「[[# 測試]] 」的章節看到操作時都是指定ZooKeeper當作API Endpoint。


== 安裝 ==
== 安裝 ==

2019年3月5日 (二) 04:19的版本

Apache Kafka是一套基于JavaScala,提供Streaming架构的软件。

介绍

Kafka本身不过多处理多节点之间的效能问题,而是透过ZooKeeper处理。可以从“#测试”的章节看到操作时都是指定ZooKeeper当作API Endpoint。

安装

目前在Ubuntu上没有系统套件或是PPA可以安装,一般是自行下载后装到/opt下。最新版的资讯可以在Kafka的Download页面得到,这边使用2.1.1版:

cd /tmp
wget https://ftp.jaist.ac.jp/pub/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz
cd /opt
sudo tar zxvf /tmp/kafka_2.12-2.1.1.tgz
sudo ln -fs kafka_2.12-2.1.1 kafka

设定

  • 修改/opt/kafka/config/server.properties内的broker.id,这边一台设1,另外一台设2
  • 修改/opt/kafka/config/server.properties内的zookeeper.connect,改成三台ZooKeeper主机的位置,像是zookeeper.connect=1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181

测试

/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181
/opt/kafka/bin/kafka-topics.sh --create --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181 --replication-factor 2 --partitions 1 --topic my-replicated-topic
/opt/kafka/bin/kafka-topics.sh --describe --zookeeper 1.2.3.4:2181,5.6.7.8:2181,9.10.11.12:2181

外部链接