Etcd

etcd是一套提供給分散式系統用的Key-Value Store。

安裝

在Ubuntu下可以直接安裝，但要注意目前Ubuntu 22.04還是3.3版，預設會是v2 data，在3.4以後就會是v3 data，會有轉移的成本：

sudo apt install -y etcd; sudo apt clean

另外一種方式是安裝官方的binary，這邊的ETCD_VERSION可以去GitHub上翻目前最新的版本：

ETCD_VERSION=3.5.9; cd /tmp; wget https://github.com/etcd-io/etcd/releases/download/v${ETCD_VERSION}/etcd-v${ETCD_VERSION}-linux-amd64.tar.gz; tar xvf etcd-v${ETCD_VERSION}-linux-amd64.tar.gz; cd etcd-v${ETCD_VERSION}-linux-amd64; sudo cp etcd etcdctl etcdutl /usr/bin

設定

如果是Ubuntu套件安裝的可以先跳過這段，如果是透過binary安裝的可以把systemd的設定放在/etc/systemd/system/etcd.service下（這其實是從Ubuntu套件裡撈出來的）：

[Unit]
Description=etcd - highly-available key value store
Documentation=https://etcd.io/docs
Documentation=man:etcd
After=network.target
Wants=network-online.target

[Service]
Environment=DAEMON_ARGS=
Environment=ETCD_NAME=%H
Environment=ETCD_DATA_DIR=/var/lib/etcd/default
EnvironmentFile=-/etc/default/%p
Type=notify
User=etcd
PermissionsStartOnly=true
#ExecStart=/bin/sh -c "GOMAXPROCS=$(nproc) /usr/bin/etcd $DAEMON_ARGS"
ExecStart=/usr/bin/etcd $DAEMON_ARGS
Restart=on-abnormal
#RestartSec=10s
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
Alias=etcd2.service

另外建立/etc/default/etcd（要記得改ETCD_INITIAL_ADVERTISE_PEER_URLS、ETCD_LISTEN_PEER_URLS與ETCD_NAME）：

#
ETCD_ADVERTISE_CLIENT_URLS="http://10.1.2.3:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.1.2.3:2380"
ETCD_INITIAL_CLUSTER="etcd-1-dev=http://10.1.2.3:2380,etcd-2-dev=http://10.1.2.4:2380,etcd-3-dev=http://10.1.2.5:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="x"
ETCD_LISTEN_CLIENT_URLS="http://10.1.2.3:2379"
ETCD_LISTEN_PEER_URLS="http://10.1.2.3:2380"
ETCD_NAME="etcd-1-dev"

然後建立對應的使用者與群組，並且設定跑起來：

sudo groupadd -r etcd; sudo useradd -r -g etcd etcd; sudo mkdir /var/lib/etcd; sudo chown etcd:etcd /var/lib/etcd; sudo systemctl daemon-reload; sudo systemctl enable --now etcd

跑一次讓cluster建立後就可以把new改成existing，避免其他的機器加入：

sudo sed -i 's/new/existing/' /etc/default/etcd; sudo service etcd restart

Auditing

如果有Auditing需求，目前etcd只能透過把log開到debug等級才有辦法記錄。透過修改/etc/default/etcd，增加：

DAEMON_ARGS="--log-level debug"

另外開一個/etc/rsyslog.d/30-etcd.conf：

if $programname == 'etcd' then /var/log/etcd.log
& stop

操作

先看有哪些機器活著：

etcdctl --endpoints=10.1.2.3:2379 member list

接著可以測試：

etcdctl --endpoints=10.1.2.3:2379 put foo test1234
etcdctl --endpoints=10.1.2.3:2379 get foo
etcdctl --endpoints=10.1.2.4:2379 get foo
etcdctl --endpoints=10.1.2.5:2379 get foo
etcdctl --endpoints=10.1.2.3:2379 del foo
etcdctl --endpoints=10.1.2.3:2379 get foo

相關連結

• Kubernetes

外部連結

• 官方網站