ubuntu codis部署安装详细教程

 Pala   2018-11-06 18:42   43 人阅读  0 条评论

1. 介绍:

github:https://github.com/CodisLabs/codis

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。与Twemproxy 和 Redis Cluster 对比: 


CodisTwemproxyRedis Cluster
resharding without restarting cluster
    (重新分配是否需要重启集群)
YESNoYES
pipeline(管道)YESYESNo
hash tags for multi-key operations
    (多键操作的哈希标签)
YESYESYES
multi-key operations while resharding
    (重新分配时多键操作)
YES
No
Redis clients supporting
    (Redis客户端支持)
Any clientAny clientClients have to   support cluster protocol


2. 安装环境

机器服务端口说明依赖
192.168.163.131
192.168.163.132
192.168.163.133
 (Ubuntu 16.04)
Codis7021/7022server端口:主/从(三台)go
11080proxy管理端口(三台
18080dashboard管理端口(一台)
18090fe管理端口(一台)
192.168.163.131
192.168.163.132
 192.168.163.133
(Ubuntu 16.04)
zookeeper2181zk客户端监听端口(三台)jdk
2888zk内部通讯端口(三台)
3888zk选举端口(三台)

Codis Server:基于 redis-3.2.8 分支开发。增加了额外的数据结构,以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。Codis 组件说明

  • Codis Proxy:客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外,表现的和原生的 Redis 没有区别(就像 Twemproxy)。

        对于同一个业务集群而言,可以同时部署多个 codis-proxy 实例;

        不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

  • Codis Dashboard:集群管理工具,支持 codis-proxy、codis-server 的添加、删除,以及据迁移等操作。在集群状态发生改变时,codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。

        对于同一个业务集群而言,同一个时刻 codis-dashboard 只能有 0个或者1个;(单点?)

        所有对集群的修改都必须通过 codis-dashboard 完成。

  • Codis Admin:集群管理的命令行工具。

        可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

  • Codis FE:集群管理界面。

        多个集群实例共享可以共享同一个前端展示页面;

        通过配置文件管理后端 codis-dashboard 列表,配置文件可自动更新。

  • Storage:为集群状态提供外部存储。

        提供 Namespace 概念,不同集群的会按照不同 product name 进行组织;

        目前仅提供了 Zookeeper、Etcd、Fs 三种实现,但是提供了抽象的 interface 可自行扩展。

 各个组件之间的关系:


客户端通过zk提供的信息访问Proxy,Proxy是无状态的,按照需要可以部署多个。通过Proxy访问多个Group(Server),Server的HA通过Sentinel来保证。更多的信息可以参考官方文档

Codis主要由以下特点

  • 可以无缝迁移到codis,自带迁移工具

  • 可以动态扩容和缩容

  • 多业务完全透明,业务不知道运行的是codis

  • 支持多核心CPU,twemproxy只能单核

  • codis是中心基于proxy的设计,是客户端像连接单机一样操作proxy

  • 有部分命令不能支持,比如keys *等 (不支持的命令列表)

  • 支持group划分,组内可以设置一个主多个从,通过sentinel 监控redis主从,当主down了自动将从切换为主

  • 设置的进程要最大等于CPU的核心,不能超过CPU的核心数

  • 其依赖于zookeeper,里面保存的key是redis主机位置,因此zookeeper要做高可用

  • 监控可以使用接口和dashboard

3. 下载安装

3.1 安装包下载:

#go:
wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

#zookeeper:
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz

#codis:
git clone https://github.com/CodisLabs/codis.git -b release3.2

3.2 安装jdk

apt-get install gcc make autoconf libtool automake
sudo add-apt-repository ppa:webupd8team/javasudo 
apt-get updatesudo 
apt-get install oracle-java8-installer

3.3 安装zookeeper

3.3.1 解压

tar -xf zookeeper-3.4.12.tar.gz 
mv zookeeper-3.4.12 /usr/local/zookeeper

3.3.2 编辑配置文件

cd /usr/local/zookeeper/conf
cp zoo_sample.cfg zoo.cfg

3.3.3 配置文件(zoo.cfg)

# The number of milliseconds of each tick
tickTime=2000# The number of ticks that the initial 
# synchronization phase can take
initLimit=10# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

配置文件说明:

  • tickTime: ZooKeeper 中使用的基本时间单元, 以毫秒为单位, 默认值是 2000。它用来调节心跳和超时。例如, 默认的会话超时时间是两倍的 tickTime。

  • initLimit: 默认值是 10, 即 tickTime 属性值的 10 倍。它用于配置允许 followers 连接并同步到 leader 的最大时间。如果 ZooKeeper 管理的数据量很大的话可以增加这个值。

  • syncLimit: 默认值是 5, 即 tickTime 属性值的 5 倍。它用于配置leader 和 followers 间进行心跳检测的最大延迟时间。如果在设置的时间内 followers 无法与 leader 进行通信, 那么 followers 将会被丢弃。

  • dataDir: ZooKeeper 用来存储内存数据库快照的目录, 并且除非指定其它目录, 否则数据库更新的事务日志也将会存储在该目录下。建议配置 dataLogDir 参数来指定 ZooKeeper 事务日志的存储目录。

  • dataLogDir:log目录,不设置则默认和数据目录相同

  • clientPort: 服务器监听客户端连接的端口, 也即客户端尝试连接的端口, 默认值是 2181。

  • maxClientCnxns: 在 socket 级别限制单个客户端与单台服务器之前的并发连接数量, 可以通过 IP 地址来区分不同的客户端。它用来防止某种类型的 DoS 攻击, 包括文件描述符耗尽。默认值是 60。将其设置为 0 将完全移除并发连接数的限制。

  • autopurge.snapRetainCount: 配置 ZooKeeper 在自动清理的时候需要保留的数据文件快照的数量和对应的事务日志文件, 默认值是 3。

  • autopurge.purgeInterval: 和参数 autopurge.snapRetainCount 配套使用, 用于配置 ZooKeeper 自动清理文件的频率, 默认值是 1, 即默认开启自动清理功能, 设置为 0 则表示禁用自动清理功能。

3.3.4 创建需要的目录:

mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/log

3.3.5 设置环境变量:

vim /etc/profile
#添加
# ZooKeeper Env
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#应用环境变量
source /etc/profile

3.3.6 单机模式

zoo.cfg配置文件:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/log
clientPort=2181

启动:zkServer.sh start

>>> zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

注意:在单机模式中, Mode 的值是 "standalone"。

查看状态:zkServer.sh status

>>> zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: standalone

关闭:zkServer.sh stop

>>> zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

3.3.7 集群模式(3台)

zoo.cfg配置文件:对比单机模式多了server.ID

tickTime=2000initLimit=10syncLimit=5dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/log
clientPort=2181
#要是一台装三个zk,可以按照端口区分:192.168.163.131:2887:3887/192.168.163.132:2887:3887/192.168.163.133:2887:3887
server.1=192.168.163.131:2888:3888server.2=192.168.163.132:2888:3888server.3=192.168.163.133:2888:3888

注意:2888表示zookeeper监听端口,3888表示zookeeper选举通信端口;以上server.1 server.2 server.3都要配置到三台zookeeper的zoo.cfg文件。

t=2181

配置说明:

  • 集群模式中, 集群中的每台机器都需要感知其它机器, 在 zoo.cfg 配置文件中, 可以按照如下格式进行配置, 每一行代表一台服务器配置: server.id=host:port:port

  • id 被称为 Server ID, 用来标识服务器在集群中的序号。同时每台 ZooKeeper 服务器上, 都需要在数据目录(即 dataDir 指定的目录) 下创建一个 myid 文件, 该文件只有一行内容, 即对应于每台服务器的Server ID。

  • ZooKeeper 集群中, 每台服务器上的 zoo.cfg 配置文件内容一致。

  • server.1 的 myid 文件内容就是 "1"。每个服务器的 myid 内容都不同, 且需要保证和自己的 zoo.cfg 配置文件中 "server.id=host:port:port" 的 id 值一致。

  • id 的范围是 1 ~ 255。

创建myid文件:设置zookeeper的id,和server.ID对应。

在 dataDir 指定的目录下 (即 /data/zookeeper/data 目录) 创建名为 myid 的文件, 文件内容和 zoo.cfg 中当前机器的 id 一致。根据上述配置, master 的 myid 文件内容为 1。

按照相同步骤, 为 132 和 133 配置 zoo.cfg 和 myid 文件。zoo.cfg文件内容相同, 132 的 myid 文件内容为 2, 133 的 myid 文件内容为 3。

#在第1台zookeeper(192.168.163.131)上设置id=1
echo "1" >/data/zookeeper/data/myid

#在第2台zookeeper(192.168.163.132)上设置id=2 
echo "2" >/data/zookeeper/data/myid

#在第3台zookeeper(192.168.163.133)上设置id=3
echo "3" >/data/zookeeper/data/myid

三台启动:zkServer.sh start

>>> zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

三台查看状态:zkServer.sh status

>>> zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

>>> zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

>>> zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

关闭:zkServer.sh stop

>>> zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

3.4 Codis安装:

安装go语言环境

#解压:
>>> sudo tar -C /usr/local -xzf go1.10.3.linux-amd64.tar.gz 
设置环境变量:
>>> vim /etc/profile
添加:
##go
export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin
#用于安装codis的目录
export GOPATH=/opt/gowork ##mkdir -p /opt/gowork

生效环境变量:
>>> source /etc/profile

验证:查看go语言版本

go version
go version go1.6.2 linux/386

创建需要的文件:

mkdir /opt/gowork

以上go的依赖环境已经安装完毕。

开始安装Codis。

#创建目录
mkdir -p /opt/gowork/src/github.com/CodisLabs
#git clone迁移
mv codis /opt/gowork/src/github.com/CodisLabs/
#进入目录
cd /opt/gowork/src/github.com/CodisLabs/codis

#编译
make
make gotest

编译安装完毕之后先设置一个软连接:

ln -s /opt/gowork/src/github.com/CodisLabs/codis/ /usr/local/codis

设置Codis环境变量:

vim /etc/profile
#添加
# Codis
export CODIS_HOME=/usr/local/codis
export PATH=$PATH:$CODIS_HOME/bin


#应用环境变量
source /etc/profile

配置启动Codis

①: 新建目录专门存放codis的配置(包括在一台上安装(131)dashboard、proxy、fe等相关服务进程的配置)

mkdir -p /etc/codis/codis-dashboard

mkdir -p /etc/codis/codis-proxy (三台)

mkdir -p /etc/codis/codis-server (三台)

mkdir -p /etc/codis/codis-fe

mkdir –p /etc/codis/codis-ha

② :新建codis-server(redis):三台上都安装

cp /usr/local/codis/extern/redis-3.2.11/redis.conf /etc/codis/codis-server/redis7021.conf

修改redis7021.conf:

# bind 127.0.0.1
protected-mode no  # 一定要设置yes,返回后续添加redis时报错
port 7021
daemonize yes
pidfile /var/lib/redis_7021/redis_7021.pid
logfile "/var/lib/redis_7021/redis_7021.log"
dbfilename 7021dump.rdb
dir /var/lib/redis_7021/
appendfilename "7021appendonly.aof"

创建配置文件里所需的目录:

mkdir /var/lib/redis_7021

再新建一个codis-server:

cd /etc/codis/codis-server

cp redis7021.conf redis7022.conf 

sed -i "s/7021/7022/g" redis7022.conf 

mkdir /var/lib/redis_7022

开启codis-server:

codis-server /etc/codis/codis-server/redis7021.conf 
codis-server /etc/codis/codis-server/redis7022.conf

说明:每台机器上有2个codis-server实例,端口为:7021、7022,没有做主从。为了防止单点的问题,可以交错的设置主从,防止一台服务器挂掉,codis-server不可用。


Group
1192.168.163.131:7021192.168.163.132:7022
2192.168.163.132:7021192.168.163.133:7022
3192.168.163.133:7021192.168.163.131:7022

③: 配置codis-dashboard(一台)


cd /etc/codis/codis-dashboard/
cp /usr/local/codis/config/dashboard.toml /etc/codis/codis-dashboard/

修改codis-dashboard配置文件

>>> vim /etc/codis/codis-dashboard/dashboard.toml

##################################################
#                                                #
#                  Codis-Dashboard               #
#                                                #
##################################################

# Set Coordinator, only accept "zookeeper" & "etcd" & "filesystem".
# for zookeeper/etcd, coorinator_auth accept "user:password" 
# Quick Start
#coordinator_name = "filesystem"
#coordinator_addr = "/tmp/codis"
coordinator_name = "zookeeper"
coordinator_addr = "192.168.163.131:2181,192.168.163.132:2181,192.168.163.133:2181"  #zk地址,多个逗号隔开
#coordinator_auth = ""

# Set Codis Product Name/Auth.
product_name = "codis-testX" #集群名称
product_auth = ""  #集群密码

# Set bind address for admin(rpc), tcp only.
admin_addr = "192.168.163.131:18080" restful api地址,

# Set arguments for data migration (only accept 'sync' & 'semi-async').
migration_method = "semi-async"
migration_parallel_slots = 100
migration_async_maxbulks = 200
migration_async_maxbytes = "32mb"
migration_async_numkeys = 500
migration_timeout = "30s"

# Set configs for redis sentinel.
sentinel_client_timeout = "10s"
sentinel_quorum = 2
sentinel_parallel_syncs = 1
sentinel_down_after = "30s"
sentinel_failover_timeout = "5m"
sentinel_notification_script = ""
sentinel_client_reconfig_script = ""

参数说明


参数说明
coordinator_name外部存储类型,接受   zookeeper/etcd
coordinator_addr外部存储地址
product_name集群名称,满足正则 \w[\w\.\-]*
product_auth集群密码,默认为空
admin_addrRESTful API 端口

创建codis日志目录(存放codis所有log):


mkdir /usr/local/codis/logs

启动codis-dashboard服务:(一台):

启动参数参考:https://github.com/CodisLabs/codis/blob/release3.2/doc/tutorial_zh.md#211-%E5%90%AF%E5%8A%A8%E5%91%BD%E4%BB%A4 

codis-dashboard --ncpu=1 --config=/etc/codis/codis-dashboard/dashboard.toml --log=/usr/local/codis/logs/dashboard.log --log-level=warn &

参数说明:
##--ncpu=N 最大使用 CPU 个数;

##-c  CONF, --config=CONF 指定启动配置文件;

##-l   FILE, --log=FILE 设置 log 输出文件;

##--log-level=LEVEL 设置 log 输出等级:INFO,WARN,DEBUG,ERROR;默认INFO,推荐WARN;

##对于同一个业务集群而言,可以同时部署多个codis-proxy 实例;

##不同 codis-proxy 之间由 codis-dashboard 保证状态同步

关闭codis-dashboard服务:

codis-admin --dashboard=192.168.163.131:18080 --shutdown

④:配置codis-proxy(三台):每台配置一个Proxy,也可以一台配置多个Proxy。

注意参数:proxy_max_clients

cd /etc/codis/codis-proxy/
cp /usr/local/codis/config/proxy.toml /etc/codis/codis-proxy/

修改codis-proxy配置:

>>> vim /etc/codis/codis-proxy/proxy.toml


##################################################
#                                                #
#                  Codis-Proxy                   #
#                                                #
##################################################

# Set Codis Product Name/Auth.
product_name = "codis-testX"  #和dashboard对应
product_auth = ""

# Set auth for client session
#   1. product_auth is used for auth validation among codis-dashboard,
#      codis-proxy and codis-server.
#   2. session_auth is different from product_auth, it requires clients
#      to issue AUTH <PASSWORD> before processing any other commands.
session_auth = ""

# Set bind address for admin(rpc), tcp only.
admin_addr = "192.168.163.131:11080"  #同一台服务器可以根据端口创建多个Proxy

# Set bind address for proxy, proto_type can be "tcp", "tcp4", "tcp6", "unix" or "unixpacket".
proto_type = "tcp4"
proxy_addr = "192.168.163.131:19000"  #同一台服务器可以根据端口创建多个Proxy

# Set jodis address & session timeout
#   1. jodis_name is short for jodis_coordinator_name, only accept "zookeeper" & "etcd".
#   2. jodis_addr is short for jodis_coordinator_addr
#   3. jodis_auth is short for jodis_coordinator_auth, for zookeeper/etcd, "user:password" is accepted.
#   4. proxy will be registered as node:
#        if jodis_compatible = true (not suggested):
#          /zk/codis/db_{PRODUCT_NAME}/proxy-{HASHID} (compatible with Codis2.0)
#        or else
#          /jodis/{PRODUCT_NAME}/proxy-{HASHID}
jodis_name = "zookeeper"
jodis_addr = "192.168.163.131:2181,192.168.163.132:2181,192.168.163.133:2181"
jodis_auth = ""
jodis_timeout = "20s"
jodis_compatible = false

...
...

参数说明:


参数说明
product_name集群名称,参考   dashboard 参数说明
product_auth集群密码,默认为空
admin_addrRESTful   API 端口
proto_typeRedis   端口类型,接受 tcp/tcp4/tcp6/unix/unixpacket
proxy_addrRedis   端口地址或者路径
jodis_addrJodis   注册 zookeeper 地址
jodis_timeoutJodis   注册 session timeout 时间,单位 second
jodis_compatibleJodis   注册 zookeeper 的路径
backend_ping_period与   codis-server 探活周期,单位 second,0 表示禁止
session_max_timeout与   client 连接最大读超时,单位 second,0 表示禁止
session_max_bufsize与   client 连接读写缓冲区大小,单位 byte
session_max_pipeline与   client 连接最大的 pipeline 大小
session_keepalive_period与   client 的 tcp keepalive 周期,仅 tcp 有效,0 表示禁止

启动codis-proxy服务(三台):


codis-proxy --ncpu=1 --config=/etc/codis/codis-proxy/proxy.toml --log=/usr/local/codis/logs/proxy.log --log-level=warn &

codis-proxy 启动后,处于 waiting online 状态(日志查询),监听 proxy_addr 地址,但是不会 accept 连接,添加到集群并完成集群状态的同步,才能改变状态为 online。添加的方法有以下两种:

  • 通过 codis-fe 添加:通过 Add Proxy 按钮,将 admin_addr 加入到集群中;⑤之后。

  • 通过 codis-admin 命令行工具添加,方法如下:

其中 192.168.163.131:18080 以及 192.168.163.131:11080 分别为 dashboard 和 proxy 的 admin_addr 地址;可以在后面的codis-fe里看到

添加过程中,dashboard 会完成如下一系列动作:

获取 proxy 信息,对集群 name 以及 auth 进行验证,并将其信息写入到外部存储中(zookeeper);

同步 slots 状态;

标记 proxy 状态为 online,此后 proxy 开始 accept 连接并开始提供服务;

停止codis-proxy服务:

codis-admin --proxy=192.168.163.131:11080 --shutdown

注意:直接kill Proxy进程zk的codis3里会有残留数据,建议codis-admin方式停codis-proxy服务 

⑤:配置codis-fe(一台)

配置文件 codis.json 可以手动编辑,也可以通过 codis-admin 从外部存储中拉取:

cd /etc/codis/codis-fe/

codis-admin --dashboard-list --zookeeper=192.168.163.131:2181 | tee codis.json

启动codis-fe:

codis-fe --ncpu=1 --dashboard-list=/etc/codis/codis-fe/codis.json --listen=192.168.163.131:18090 --log=/usr/local/codis/logs/fe.log --log-level=warn --assets-dir=/usr/local/codis/bin/assets/ &

关闭codis-fe:

ps -ef|grep codis-fe|grep -v grep|awk '{print $2}'|xargs kill

通过codis-fe进行web操作管理:注意在fe上添加的时候需要保证这些进程存在,fe不会自动开启,只是对这些已有进程进行相关操作。

1) 添加proxy:地址是配置文件中配置的admin_addr信息,需要先开启codis-proxy(处于waiting online)。

其中SYNC表示:更新同步Proxy中的Slots信息,日志如下: 

fill slot 0000, backend.addr = 192.168.163.133:7021, locked = false
fill slot 0001, backend.addr = 192.168.163.133:7021, locked = false
fill slot 0002, backend.addr = 192.168.163.133:7021, locked = false
fill slot 0003, backend.addr = 192.168.163.133:7021, locked = false
...
...

2)添加Group:本文说明的Group就是一主一从的环境,当然也可以一主多从。在上面介绍codis-server中,只是开启了实例,没有做主从关系。现在通过codis-fe来进行主从关系的创建,添加group:


Group
1192.168.163.131:7021192.168.163.132:7022

需要注意的是在fe上添加,组内默认第一个Server是master。


注意:点了PROMOTE之后,slave会被提升为master,但是老的master需要手动点才能对新主进行同步。

按照上面继续添加GROUP 2和3,最终图的结果为:

通过codis-fe已经把codis-server(redis)已经添加并自动做了主从复制。

3)初始化Slots:进行到这步的时候整个codis集群已经搭建完毕,最后只需要把Slots初始和分配下就可以使用了。

把0~300的slots分配给Group1,301~800的slots分配给Group2,801~1023的slots分配给Group3,最终结果图如下:

上面的图可以看到slots的分布信息,也可以通过condis-admin进行查询:

codis-admin --dashboard=192.168.163.131:18080 --slots-status

迁移Slots:

从Group1迁移10个slots到Group3,操作完之后的结果图:

在迁移Slots时候的zk的操作信息如下:

2018/07/03 12:54:09 zkclient.go:272: [DEBUG] zkclient update node /codis3/codis-testX/slots/slot-0008
2018/07/03 12:54:09 zkclient.go:280: [DEBUG] zkclient update OK

到这里,codis的集群安装和初始化完毕,可以正常提供服务器了,不过这里还有个情况就是主Codis-Server挂了:

模拟Group1的主挂掉,通过Proxy连上去看看查询到整个Group的Slots会怎么样:

root@test1:~# redis-cli -h 192.168.163.132 -p 19000 #随便连一个Proxy
192.168.163.133:19000> get age
(error) ERR handle response, backend conn reset

HA如何保证?那就继续HA的部署说明。

⑥:配置启动codis-ha

codis-ha --log=/usr/local/codis/logs/ha.log --log-level=warn --dashboard=192.168.163.131:18080&

注意:codis-ha启动之后,主挂掉虽然可以把从切换成主,但是老主再次启动会被codis-ha关闭(开不起来,除非关掉codis-ha),关闭掉codis-ha之后,还需要重新在codis-fe上添加这个老主进行同步,这个对于主从非常不友好,不推荐使用。还是使用Sentinel来替代codis-ha。

配置Sentinel 3个节点(三台都安装),来替换codis-ha。sentinel的说明可以参考Redis 复制、Sentinel的搭建和原理说明

注意:codis是通过sentinel来保证每个group下的Redis主从高可用,并且在codis-fe上配置的Sentinel是监控所有主机的,不需要单独配置监控的主,codis集群会自动添加。

建立所需的目录:

mkdir -p /var/lib/sentinel

修改配置文件

>>> cp /usr/local/codis/extern/redis-3.2.11/sentinel.conf /etc/codis/codis-server/
>>> vim /etc/codis/codis-server/sentinel.conf

port 10086

dir "/var/lib/sentinel"

logfile "/var/lib/sentinel/sentinel.log"

daemonize yes

protected-mode no

不需要启用其他的Sentinel开头的这些参数,codis-fe会自动发现处理

开启Sentinel,三台保持一致即可:

codis-server /etc/codis/codis-server/sentinel.conf --sentinel

添加到集群(dashboard):命令行模式

codis-admin --dashboard=192.168.163.131:18080 --sentinel-add --addr=192.168.163.131:10086

codis-admin --dashboard=192.168.163.131:18080 --sentinel-add --addr=192.168.163.132:10086

codis-admin --dashboard=192.168.163.131:18080 --sentinel-add --addr=192.168.163.133:10086

通过codis-fe添加:

该3个节点的Sentinel,监听着三组Group,即三个主从。最后一列表示从codis-fe上删除。添加完毕之后,在codis-fe上的Group中可以看到状态发生了改变:主上多了一个[HA]标识。


模拟Group1的主挂掉,通过Proxy连上去看看查询到整个Group的Slots会怎么样:

192.168.163.131:19000> get age
(error) ERR handle response, backend conn reset
192.168.163.131:19000> get age
"1233"

说明:当Group1的主被shutdown之后,Sentinel经过选举,选择新主(选举时间可配置)提供服务,选举期间该Group不可访问。老主启动后,Sentinel会自动的把老主slaveof 到新的主,形式主从集群,codis-fe不需要做主从同步的操作。最后出现“OUT OF SYNC”的标志,只需要手动SYNC下就可以了。另外说明下,如果codis-server添加了密码,则需要在codis相关组件的配置文件中的auth相关参数里添加密码。

扩容:如果Group1集群内存不足,需要扩容,则添加一个Group2集群,对指定数量的slots进行数据迁移,如:

迁移过程中,正在迁移的key可以访问(通过Proxy进行访问),不影响业务使用。

Codis-admin的使用

上面介绍的都是基于fe的web管理界面操作的,那如何通过命令行来实现呢?这时可以看下Codis-admin就派上用场了:

>>> codis-admin --help
Usage:
    codis-admin [-v] --proxy=ADDR [--auth=AUTH] [config|model|stats|slots]
    codis-admin [-v] --proxy=ADDR [--auth=AUTH]  --start
    codis-admin [-v] --proxy=ADDR [--auth=AUTH]  --shutdown
    codis-admin [-v] --proxy=ADDR [--auth=AUTH]  --log-level=LEVEL
    codis-admin [-v] --proxy=ADDR [--auth=AUTH]  --fillslots=FILE [--locked]
    codis-admin [-v] --proxy=ADDR [--auth=AUTH]  --reset-stats
    codis-admin [-v] --proxy=ADDR [--auth=AUTH]  --forcegc
    codis-admin [-v] --dashboard=ADDR           [config|model|stats|slots|group|proxy]
    codis-admin [-v] --dashboard=ADDR            --shutdown
    codis-admin [-v] --dashboard=ADDR            --reload
    codis-admin [-v] --dashboard=ADDR            --log-level=LEVEL
    codis-admin [-v] --dashboard=ADDR            --slots-assign   --beg=ID --end=ID (--gid=ID|--offline) [--confirm]
    codis-admin [-v] --dashboard=ADDR            --slots-status
    codis-admin [-v] --dashboard=ADDR            --list-proxy
    codis-admin [-v] --dashboard=ADDR            --create-proxy   --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --online-proxy   --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --remove-proxy  (--addr=ADDR|--token=TOKEN|--pid=ID)       [--force]
    codis-admin [-v] --dashboard=ADDR            --reinit-proxy  (--addr=ADDR|--token=TOKEN|--pid=ID|--all) [--force]
    codis-admin [-v] --dashboard=ADDR            --proxy-status
    codis-admin [-v] --dashboard=ADDR            --list-group
    codis-admin [-v] --dashboard=ADDR            --create-group   --gid=ID
    codis-admin [-v] --dashboard=ADDR            --remove-group   --gid=ID
    codis-admin [-v] --dashboard=ADDR            --resync-group  [--gid=ID | --all]
    codis-admin [-v] --dashboard=ADDR            --group-add      --gid=ID --addr=ADDR [--datacenter=DATACENTER]
    codis-admin [-v] --dashboard=ADDR            --group-del      --gid=ID --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --group-status
    codis-admin [-v] --dashboard=ADDR            --replica-groups --gid=ID --addr=ADDR (--enable|--disable)
    codis-admin [-v] --dashboard=ADDR            --promote-server --gid=ID --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --sync-action    --create --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --sync-action    --remove --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --slot-action    --create --sid=ID --gid=ID
    codis-admin [-v] --dashboard=ADDR            --slot-action    --remove --sid=ID
    codis-admin [-v] --dashboard=ADDR            --slot-action    --create-some  --gid-from=ID --gid-to=ID --num-slots=N
    codis-admin [-v] --dashboard=ADDR            --slot-action    --create-range --beg=ID --end=ID --gid=ID
    codis-admin [-v] --dashboard=ADDR            --slot-action    --interval=VALUE
    codis-admin [-v] --dashboard=ADDR            --slot-action    --disabled=VALUE
    codis-admin [-v] --dashboard=ADDR            --rebalance     [--confirm]
    codis-admin [-v] --dashboard=ADDR            --sentinel-add   --addr=ADDR
    codis-admin [-v] --dashboard=ADDR            --sentinel-del   --addr=ADDR [--force]
    codis-admin [-v] --dashboard=ADDR            --sentinel-resync
    codis-admin [-v] --remove-lock               --product=NAME (--zookeeper=ADDR [--zookeeper-auth=USR:PWD]|--etcd=ADDR [--etcd-auth=USR:PWD]|--filesystem=ROOT)
    codis-admin [-v] --config-dump               --product=NAME (--zookeeper=ADDR [--zookeeper-auth=USR:PWD]|--etcd=ADDR [--etcd-auth=USR:PWD]|--filesystem=ROOT) [-1]
    codis-admin [-v] --config-convert=FILE
    codis-admin [-v] --config-restore=FILE       --product=NAME (--zookeeper=ADDR [--zookeeper-auth=USR:PWD]|--etcd=ADDR [--etcd-auth=USR:PWD]|--filesystem=ROOT) [--confirm]
    codis-admin [-v] --dashboard-list                           (--zookeeper=ADDR [--zookeeper-auth=USR:PWD]|--etcd=ADDR [--etcd-auth=USR:PWD]|--filesystem=ROOT)

Options:
    -a AUTH, --auth=AUTH
    -x ADDR, --addr=ADDR
    -t TOKEN, --token=TOKEN
    -g ID, --gid=ID

总结

到这里,redis codis 的高可用集群已经搭建完毕,从文中的介绍说明来看,Codis实现了Redis的高可用、动态扩展、对业务层透明以及如何连接。后续进行相关的测试说明。

查看codis运行的进程

ps -ef | grep codis

codis-fe 管理界面

https://github.com/CodisLabs/codis/blob/release3.2/doc/tutorial_zh.md

本文地址:http://chenxm.cc/post/757.html
温馨提示:文章内容系作者个人观点,不代表陈新明对观点赞同或支持。
版权声明:本文为转载文章,来源于 Pala ,版权归原作者所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?