Confluent:修订间差异

来自Gea-Suan Lin's Wiki
跳到导航 跳到搜索
此页面具有访问限制。如果您看见此消息,则说明您没有权限访问此页面。
第96行: 第96行:
<syntaxhighlight lang="text">
<syntaxhighlight lang="text">
admin:password->admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=
admin:password->admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=
</syntaxhighlight>
然後直接放進設定內:
<syntaxhighlight lang="bash">
KAKFA_OPTS=-Dzookeeper.DigestAuthenticationProvider.superDigest=admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=
</syntaxhighlight>
這樣就可以在<code>zookeeper-shell</code>裡面認證:
<syntaxhighlight lang="bash">
addauth digest admin:password
</syntaxhighlight>
</syntaxhighlight>



2019年3月12日 (二) 01:30的版本

Confluent是一家公司,也是该公司的Apache Kafka产品名。

简介

Confluent是Apache Kafka发明人出来开的公司,也是目前最知名的Kafka商业支援服务。同时Confluent也是该公司推出的软件品牌,提供了众多的Open Source套件用以管理Kafka Cluster(即社群版本元件),另外提供商用版本,包括Control Center(提供三十天试用)。

硬件

在PoC时我使用了三台t3.small(2 GB RAM,另外手动设定加上512 MB Swap),三台都安装完整的套件并且跑起来,一开始不会有问题,但跑一阵子后会因为内存不足而异常。建议在正式环境下建议使用m5.large(8 GB RAM)或是更好的机器执行。

安装

当然要先装Java

sudo apt install -y default-jre

这边只安装社群版本:

wget -qO - https://packages.confluent.io/deb/5.1/archive.key | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://packages.confluent.io/deb/5.1 stable main"
sudo apt install -y confluent-community-2.11

设定ZooKeeper

修改/etc/kafka/zookeeper.properties,其中IP address需要填写对应的位置:

#
tickTime=2000
dataDir=/var/lib/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=1.2.3.4:2888:3888
server.2=5.6.7.8:2888:3888
server.3=9.10.11.12:2888:3888
autopurge.snapRetainCount=3
autopurge.purgeInterval=24

新增/var/lib/zookeeper/myid,每一台都需要不同,123

1

然后修改档案拥有人:

sudo chown cp-kafka:confluent /var/lib/zookeeper/myid

目前的ZooKeeper(Confluent 2.11版内的ZooKeeper)预设值是使用512 MB的内存,但主机有7.5 GB的内存,所以会想要让ZooKeeper可以用7 GB,因此需要修改ZooKeeper的JVM参数。这边需要新增/lib/systemd/system/confluent-zookeeper.service.d/30-options.conf(目录可能需要自己建立):

[Service]
Environment=KAFKA_HEAP_OPTS="-Xmx7g -Xms7g"

理论上就可以启动了:

sudo systemctl daemon-reload
sudo service confluent-zookeeper start
sudo service confluent-zookeeper status

可以看输出的资讯判断系统状态:

echo stat | nc 127.0.0.1 2181

或是直接透过指令操作测试:

zookeeper-shell 127.0.0.1:2181

接下来可以将TCP Port 2181建立对应的TCP Load Balancer(像是用ELB)。

认证

如果需要让ZooKeeper启用认证,需要先建立对应的账号与密码字串(这个例子里面是adminpassword):

java -cp "$(echo /usr/share/java/kafka/* | sed 's/ /:/g')" org.apache.zookeeper.server.auth.DigestAuthenticationProvider admin:password

会产生像是这样的输出,其中后面的那串值是重点:

admin:password->admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=

然后直接放进设定内:

KAKFA_OPTS=-Dzookeeper.DigestAuthenticationProvider.superDigest=admin:bjkZ9W+M82HUZ9xb8/Oy4cmJGfg=

这样就可以在zookeeper-shell里面认证:

addauth digest admin:password

设定Kafka

如果ZooKeeperKafka不同服务器,需要修改/etc/kafka/server.propertieszookeeper.connect的值,像是这样:

#zookeeper.connect=localhost:2181
zookeeper.connect=internal-test-gslin-confluent-xxxxxxxxx.us-east-1.elb.amazonaws.com:2181

修改/etc/kafka/server.propertiesbroker.id设定,让他自动产生而不需要自己指定:

#broker.id=0
broker.id.generation.enable=true

理论上就可以启动了:

sudo service confluent-confluent start
sudo service confluent-confluent status

设定其他套件

启动Schema Registry:

sudo service confluent-schema-registry start
sudo service confluent-schema-registry status

启动Kafka Connect:

sudo service confluent-kafka-connect start
sudo service confluent-kafka-connect status

启动Kafka REST Proxy:

sudo service confluent-kafka-rest start
sudo service confluent-kafka-rest status

启动KSQL:

sudo service confluent-ksql start
sudo service confluent-ksql status

相关连结

外部链接