Redis 샤딩 클러스터 구축 및 활용에 대한 자세한 설명

이 글에서는 주로 Redis 샤딩 클러스터의 구성 및 사용을 소개합니다. 이 글에서는 Redis 샤딩 클러스터 구축을 시작으로 Redis 샤딩 클러스터와 관련된 기술적 사항을 자세히 설명합니다. . 모두에게 도움이 되기를 바랍니다.

추천 학습: Redis 동영상 튜토리얼

머리말

Redis는 실제 프로젝트 개발에서 매우 자주 사용된다고 할 수 있습니다. Redis의 공통 클러스터에서는 Redis에서 일반적으로 사용하는 여러 클러스터 솔루션에 대해 이야기했습니다. 서로 다른 클러스터는 서로 다른 시나리오에 대응하며, 다양한 클러스터의 장단점을 자세히 설명합니다. 이 기사에서는 Redis 샤딩 클러스터 구축부터 시작하여 Redis 샤딩 클러스터를 시작점으로 삼아 기술적 포인트를 자세히 설명합니다. Redis 샤딩 클러스터 관련 ;

• 단일 머신 쓰기(높은 동시 쓰기) 병목 현상
• 자동 클러스터 확장;
• 클러스터 아키텍처 다이어그램 구축

준비

1 가상 머신 또는 서버 1개(또는 조건이 허용되는 경우 6개)를 준비합니다.

이 예에서는 8G 서버입니다. 데모 효과를 위해 마스터와 슬레이브를 포트로 나누어 준비합니다

2. Redis 설치 패키지를 미리 다운로드하세요.

빌드 단계

1. 각 redis 예제

mkdir 7001 7002 7003 8001 8002 8003

2. 다음 내용으로 redis.conf 파일을 생성합니다

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /usr/local/soft/redis/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /usr/local/soft/redis/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 本机公网IP
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /usr/local/soft/redis/6379/run.log

3. 구성 파일을 배치

echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

4. 각 디렉터리에서 6379를 해당 디렉터리와 일치하도록 수정하세요

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

redis.conf를 무작위로 열어 수정이 성공했는지 확인하세요

4. command to start

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7003/redis.conf

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8003/redis.conf

실행이 완료되면 6개의 Redis 인스턴스가 오픈된 것을 확인할 수 있습니다

클러스터 생성

위의 과정을 통해 6개의 Redis 인스턴스가 오픈되었으나 이러한 인스턴스는 형성되지 않았습니다. 그런 다음 관련 명령을 수행하여 클러스터를 형성해야 합니다

1. 다음 명령을 사용하여 클러스터를 구축합니다(버전 5.0 이후 명령)

redis-cli --cluster create --cluster-replicas 1 IP地址:7001 IP地址:7002 IP地址:7003 IP地址:8001 IP地址:8002 IP地址:8003

위 명령에 대한 지침

redis-cli --cluster 또는 ./redis-trib .rb: 클러스터 작업 명령을 나타냅니다.

create: 클러스터 생성을 나타냅니다.

–replicas 1 또는 –cluster-replicas 1: 각 복제본 수를 지정합니다. 클러스터의 마스터를 1로 하고, 총 노드 수 ¼(복제본 + 1)을 얻는 것은 마스터 수입니다. 따라서 노드 목록의 처음 n개 노드는 마스터이고 다른 노드는 슬레이브 노드이며 다른 마스터에 무작위로 할당됩니다.

또한 redis-cli --cluster help 명령을 통해 클러스터 명령을 볼 수도 있습니다. 명령을 실행하면 어떤 예제가 마스터로 사용될지, 어떤 예제가 슬레이브로 사용될지 묻는 메시지가 콘솔에 표시됩니다.
• 계속해서 yes를 입력하면 위의 전략에 따라 클러스터가 생성됩니다.

; 아마도 출력 로그에서 이를 얻을 수 있습니다.

마스터 노드의 포트 번호는 7001, 7002 및 7003입니다.

슬레이브 노드의 포트 번호는 8001, 8002 및 8003입니다. 마스터 노드에는 순서대로 7001, 7002 및 7003의 포트 번호가 있습니다. 각 노드에는 [0-5460], [5461-10922], [10923-16383]의 특정 수의 슬롯이 할당됩니다. 총 16384개의 슬롯이 할당됩니다.

2. 클러스터 상태를 확인하세요.

redis-cli -p 7001 cluster nodes

通过这个命令，可以清楚的看到集群中各个实例节点的主从状态，实例ID（唯一身份标识），槽位区间等信息

Redis散列插槽说明

其实对redis分片集群稍有了解的同学应该知道，redis分片集群在逻辑上将集群中的所有节点构成了一块完整的内存空间，数据写入进来后，具体存放到哪个节点呢？所以集群引入了一个逻辑尚的插槽概念，即将集群划分为16384个槽位，集群中的每个节点占据一部分槽位数（这个日志中可以看出来）；

那么当某个具体的key写入的时候，集群将会通过一定的算法，将要写入的数据路由到指定的插槽上去；

这里有个点需要注意，数据key不是与节点绑定，而是与插槽绑定。

redis集群会根据key的有效部分计算插槽值，分两种情况：

• key中包含"{}"，且“{}”中至少包含1个字符，“{}”中的部分是有效部分；
• key中不包含“{}”，整个key都是有效部分；

举例来说：key是num，那么就根据num计算，如果是{应用名称}num，则根据“应用名称”计算。计算方式是利用CRC16算法得到一个hash值，然后对16384取余，得到的结果就是slot值

下面不妨看下效果



通过上面的演示可以发现，经过集群计算的key将会分配到不同的插槽上，也就是说，key是与插槽绑定，而不是与某个节点绑定，想想为什么会这样呢？

思考下面这个需求

如何将同一类数据固定的保存在同一个Redis实例？

简单来说，如果key的分配完全没有规则的话，当涉及到某个业务类的数据对应的key随机分配到不同的节点上面时，取值的时候就会出现像上面的重定向跨节点的问题，一定程度上提升性能；

解决办法

这一类数据使用相同的有效部分，例如key都以{业务ID}为前缀



集群伸缩（添加节点）

reids的cluster模式下，有一个比较强的功能就是集群的伸缩能力，即在现有的集群基础上，可以根据实际的业务需求，进行集群的伸缩，下面来演示下给上面的集群添加一个新节点的步骤；

1、在当前目录下拷贝一个目录



2、修改配置文件的端口

sed -i s/6379/7004/g 7004/redis.conf



3、启动这个实例

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7004/redis.conf



4、使用下面的命令将7004实例假如集群

redis-cli --cluster add-node IP:7004 IP:7001



5、再次查看集群状态

redis-cli -p 7001 cluster nodes



通过上面的状态信息发现，7004这个节点虽然加入了集群，并成了master，但是集群并没有给它分配任何的插槽

6、分配插槽

分配插槽的基本思路是，从现有的某个节点上迁移部分插槽到新的节点即可，执行下面的命令进行插槽分配

redis-cli --cluster reshard 101.34.23.80:7001

执行命令后将出现下面的提示，这里输入你要转移的插槽数量



将7004对应的实例ID输入即可





输入yes后开始移动插槽





移动完成后，再次查看集群状态，这时候7004对应的节点就分配到了从0 ~ 500的数量的插槽



故障转移

redis的cluster模式的集群，还具备一定的故障转移能力，比如在上面的架构模式下，当集群中的某个master节点宕机之后，会出现什么情况呢？下面我们来模拟下这个过程，看看效果如何

1、使用watch命令监控下集群的状态

通过这个命令可以实时查看集群的动态日志变化

watch redis-cli -p 7001 cluster nodes



2、手动将7002实例的master宕机

redis-cli -p 7002 shutdown



从上面的监控日志不难发现，当7002挂掉后，过了一会儿与集群以及它的从节点8003失去了联系，然后8003这个节点升级为master节点；

3、手动将7002实例启动起来

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf



再次分析日志，可以看到这时候7002只能以slave的身份加入了集群，事实上在某些情况下，我们仍然希望这个宕机的节点恢复后依然是主节点，这该怎么办呢？这就涉及到了手动故障转移，主要操作步骤如下：

• 使用redis-cli连接7002节点；
• 执行cluster failover命令；

在上面执行之后的情况下，7002是一个slave节点



执行 CLUSTER FAILOVER 命令，观察日志动态变化，通过日志变化，可以看到，命令执行完毕后，7002很快就变成了master，而8003成了slave；



通过以上步骤就完成了redis的cluster模式下的故障转移的过程

使用redistemplate访问分片集群

1、引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2、将配置文件中的集群地址修改成下面这样即可

spring:
  redis:
    cluster:
      nodes:
       - 集群IP:7001
       - 集群IP:7002
       - 集群IP:7003
       - 集群IP:7004
       - 集群IP:8001
       - 集群IP:8002
       - 集群IP:8003

至于具体的代码部分，可以参考下面的这个测试案例

	@Autowired
    private RedisTemplate<String,String> redisTemplate;

    //localhost:8083/set?key=b&value=123
    @GetMapping("/set")
    public void set(@RequestParam String key,@RequestParam String value){
        redisTemplate.opsForValue().set(key,value);
    }

    //localhost:8083/get?key=b
    @GetMapping("/get")
    public String get(@RequestParam String key){
        return redisTemplate.opsForValue().get(key);
    }

推荐学习：Redis视频教程

위 내용은 Redis 샤딩 클러스터 구축 및 활용에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!