Confluent:修订间差异
(→外部連結) |
(→認證) |
||
第96行: | 第96行: | ||
<syntaxhighlight lang="text"> | <syntaxhighlight lang="text"> | ||
admin:password->admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg= | admin:password->admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg= | ||
</syntaxhighlight> | |||
然後直接放進設定內: | |||
<syntaxhighlight lang="bash"> | |||
KAKFA_OPTS=-Dzookeeper.DigestAuthenticationProvider.superDigest=admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg= | |||
</syntaxhighlight> | |||
這樣就可以在<code>zookeeper-shell</code>裡面認證: | |||
<syntaxhighlight lang="bash"> | |||
addauth digest admin:password | |||
</syntaxhighlight> | </syntaxhighlight> | ||
2019年3月12日 (二) 01:30的版本
Confluent是一家公司,也是该公司的Apache Kafka产品名。
简介
Confluent是Apache Kafka发明人出来开的公司,也是目前最知名的Kafka商业支援服务。同时Confluent也是该公司推出的软件品牌,提供了众多的Open Source套件用以管理Kafka Cluster(即社群版本元件),另外提供商用版本,包括Control Center(提供三十天试用)。
硬件
在PoC时我使用了三台t3.small
(2 GB RAM,另外手动设定加上512 MB Swap),三台都安装完整的套件并且跑起来,一开始不会有问题,但跑一阵子后会因为内存不足而异常。建议在正式环境下建议使用m5.large
(8 GB RAM)或是更好的机器执行。
安装
当然要先装Java:
sudo apt install -y default-jre
这边只安装社群版本:
wget -qO - https://packages.confluent.io/deb/5.1/archive.key | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://packages.confluent.io/deb/5.1 stable main"
sudo apt install -y confluent-community-2.11
设定ZooKeeper
修改/etc/kafka/zookeeper.properties
,其中IP address需要填写对应的位置:
#
tickTime=2000
dataDir=/var/lib/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=1.2.3.4:2888:3888
server.2=5.6.7.8:2888:3888
server.3=9.10.11.12:2888:3888
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
新增/var/lib/zookeeper/myid
,每一台都需要不同,1
或2
或3
:
1
然后修改档案拥有人:
sudo chown cp-kafka:confluent /var/lib/zookeeper/myid
目前的ZooKeeper(Confluent 2.11版内的ZooKeeper)预设值是使用512 MB的内存,但主机有7.5 GB的内存,所以会想要让ZooKeeper可以用7 GB,因此需要修改ZooKeeper的JVM参数。这边需要新增/lib/systemd/system/confluent-zookeeper.service.d/30-options.conf
(目录可能需要自己建立):
[Service]
Environment=KAFKA_HEAP_OPTS="-Xmx7g -Xms7g"
理论上就可以启动了:
sudo systemctl daemon-reload
sudo service confluent-zookeeper start
sudo service confluent-zookeeper status
可以看输出的资讯判断系统状态:
echo stat | nc 127.0.0.1 2181
或是直接透过指令操作测试:
zookeeper-shell 127.0.0.1:2181
接下来可以将TCP Port 2181建立对应的TCP Load Balancer(像是用ELB)。
认证
如果需要让ZooKeeper启用认证,需要先建立对应的账号与密码字串(这个例子里面是admin
与password
):
java -cp "$(echo /usr/share/java/kafka/* | sed 's/ /:/g')" org.apache.zookeeper.server.auth.DigestAuthenticationProvider admin:password
会产生像是这样的输出,其中后面的那串值是重点:
admin:password->admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=
然后直接放进设定内:
KAKFA_OPTS=-Dzookeeper.DigestAuthenticationProvider.superDigest=admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=
这样就可以在zookeeper-shell
里面认证:
addauth digest admin:password
设定Kafka
如果ZooKeeper与Kafka不同服务器,需要修改/etc/kafka/server.properties
的zookeeper.connect
的值,像是这样:
#zookeeper.connect=localhost:2181
zookeeper.connect=internal-test-gslin-confluent-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181
修改/etc/kafka/server.properties
的broker.id
设定,让他自动产生而不需要自己指定:
#broker.id=0
broker.id.generation.enable=true
理论上就可以启动了:
sudo service confluent-confluent start
sudo service confluent-confluent status
设定其他套件
启动Schema Registry:
sudo service confluent-schema-registry start
sudo service confluent-schema-registry status
启动Kafka Connect:
sudo service confluent-kafka-connect start
sudo service confluent-kafka-connect status
启动Kafka REST Proxy:
sudo service confluent-kafka-rest start
sudo service confluent-kafka-rest status
启动KSQL:
sudo service confluent-ksql start
sudo service confluent-ksql status