「Apache Cassandra」:修訂間差異
(未顯示同一使用者於中間所作的 10 次修訂) | |||
第3行: | 第3行: | ||
== 需求 == | == 需求 == | ||
開機就大約吃1.3GB左右,用2GB記憶體機器開機完就已經有吃到Swap了,最好是4GB記憶體,我這邊是用[[AWS]]的<code>t4g.medium</code>跑測試環境,不過當資料量夠大的時候4GB還是不夠用 | 開機就大約吃1.3GB左右,用2GB記憶體機器開機完就已經有吃到Swap了,最好是4GB記憶體,我這邊是用[[AWS]]的<code>t4g.medium</code>跑測試環境,不過當資料量夠大的時候4GB還是不太夠用,建議在正式環境下至少開到8GB的記憶體使用。 | ||
硬碟空間就是隨著資料量自己抓。 | |||
== 安裝 == | == 安裝 == | ||
第159行: | 第161行: | ||
接著應該會在<code>/var/log/cassandra/system.log</code>裡看到一些記錄,另外透過網路流量之類的資訊應該也可以看到正在同步。 | 接著應該會在<code>/var/log/cassandra/system.log</code>裡看到一些記錄,另外透過網路流量之類的資訊應該也可以看到正在同步。 | ||
=== 移除節點 === | |||
<syntaxhighlight lang="bash"> | |||
nodetool decommission | |||
</syntaxhighlight> | |||
=== 刪除節點 === | |||
<syntaxhighlight lang="bash"> | |||
nodetool removenode 01234567-89ab-cdef-0123-456789abcdef | |||
nodetool removenode status | |||
nodetool removenode force | |||
</syntaxhighlight> | |||
=== 清理節點的多餘資料 === | |||
<syntaxhighlight lang="bash"> | |||
nodetool cleanup | |||
</syntaxhighlight> | |||
== 除錯 == | == 除錯 == |
於 2022年7月11日 (一) 17:44 的最新修訂
Apache Cassandra是一套資料庫。
需求
開機就大約吃1.3GB左右,用2GB記憶體機器開機完就已經有吃到Swap了,最好是4GB記憶體,我這邊是用AWS的t4g.medium
跑測試環境,不過當資料量夠大的時候4GB還是不太夠用,建議在正式環境下至少開到8GB的記憶體使用。
硬碟空間就是隨著資料量自己抓。
安裝
先安裝OpenJDK 11:
sudo apt install -y openjdk-11-jdk; sudo apt clean
再來安裝Cassandra 4:
curl -L https://www.apache.org/dist/cassandra/KEYS | sudo apt-key add -; echo "deb http://www.apache.org/dist/cassandra/debian 40x main" | sudo tee /etc/apt/sources.list.d/cassandra.list; sudo apt update; sudo apt install -y cassandra
設定
防火牆
Port | Usage | Comment |
---|---|---|
7000/tcp | Cluster communication | |
7001/tcp | Cluster communication (TLS mode) | |
7199/tcp | JMX | 預設是聽127.0.0.1 ,不一定要開。
|
9042/tcp | Native protocol |
/etc/cassandra/cassandra.yaml
基本上一定會改的:
cluster_name
改成自己要的名稱。listen_address
改成自己的IP位置(但不能是0.0.0.0
,有擋),這樣外部才能連線。可以考慮直接用listen_interface
。rpc_address
也要改成自己的IP位置(也不能是0.0.0.0
)。seeds
改成第一台機器的IP位置與Port,這個參數只在第一次初始化整個Cassandra時用一次,後續的機器資訊都會存到硬碟裡。如果沒有用Cluster架構的話不需要改。
其他會改的:
commitlog_compression
改用LZ4Compressor
。endpoint_snitch
改成Ec2Snitch
或是Ec2MultiRegionSnitch
,如果你的Cassandra架在AWS上。hints_compression
改用LZ4Compressor
。internode_compression
改成all
。
/etc/cassandra/jvm-server.options
記得把jvm11-server.options
的內容複製進來,另外要注意JVM GC的部份:
- Java 11預設用G1GC,一般建議是在記憶體比較充足的情況下選用(網路上有些文章是建議16GB以上),在記憶體比較小的時候會建議使用CMS。
清掉初始資料
要注意因為預設裝完Cassandra後會自動跑起來,會需要先清掉/var/lib/cassandra
裡面的cluster資料:
sudo service cassandra stop; sudo rm -rf /var/lib/cassandra; sudo mkdir /var/lib/cassandra; sudo chown cassandra:cassandra /var/lib/cassandra; sudo service cassandra start
帳號密碼
Cassandra預設是不檢查帳號密碼的,需要修改設定:
authenticator
改成PasswordAuthenticator
。authorizer
改成CassandraAuthorizer
。role_manager
改成CassandraRoleManager
(似乎已經是預設)。
重啟所有節點後,然後用預設的帳號密碼(都是cassandra
)連進cluster:
cqlsh cassandra-1.example.com -u cassandra -p cassandra
接下來可以設定最高使用者以及一般使用者:
CREATE USER root WITH PASSWORD 'rootpassword' SUPERUSER;
CREATE USER alice WITH PASSWORD 'alicepassword';
CREATE USER bob WITH PASSWORD 'bobpassword';
請先重新登入確認這些使用者可以用,接著把cassandra
這個使用者砍掉:
DROP USER cassandra;
然後先建立對應的keyspace,並且授權alice
這個keyspace給alice
這個使用者,並且給bob
這個使用者查詢:
CREATE KEYSPACE alice WITH replication = {'class': 'SimpleStrategy', 'replication_factor' : 3};
GRANT ALL ON KEYSPACE alice TO alice;
GRANT SELECT ON KEYSPACE alice TO bob;
常用指令
cqlsh
使用cqlsh:
cqlsh cassandra-1.example.com -u root -p password
列出所有的keyspace:
DESCRIBE keyspaces;
使用ks1
然後列出table:
USE ks1;
DESCRIBE tables;
其他指令
看目前Cluster的狀態(透過JMX,需要在Cluster上的任意一台機器上存取127.0.0.1:7199
):
nodetool status
利用profileload可以看到目前有哪些指令在跑(這個指令主要不是用來做這個用途的,只是目前沒有其他方法可以看):
nodetool profileload
操作
修復
這邊提供的修復方式是直接放棄現有本地節點的資料,透過其他節點恢復,所以需要在資料有設定多份replication的前提下才能這樣用:
- 移除
/var/lib/cassandra
,或是搬到/var/lib/cassandra.old
(如果空間夠的話)。 - 到
/etc/cassandra/cassandra-env.sh
裡面的JVM_OPTS
加上-Dcassandra.replace_address=10.1.2.3
(自己的IP位置)。 - 重跑Cassandra。
接著應該會在/var/log/cassandra/system.log
裡看到一些記錄,另外透過網路流量之類的資訊應該也可以看到正在同步。
移除節點
nodetool decommission
刪除節點
nodetool removenode 01234567-89ab-cdef-0123-456789abcdef
nodetool removenode status
nodetool removenode force
清理節點的多餘資料
nodetool cleanup
除錯
可以翻翻/var/log/cassandra
這邊。