Environnement de construction et de surveillance du cluster Redis

Réalisation d'un cluster de 3 maîtres et 3 esclaves IP d'une seule machine : 192.168.40.128

Construction de cluster de base

Téléchargement simple<.>

Décompressez
wget http://download.redis.io/releases/redis-4.0.10.tar.gz
en précisant le chemin d'installation et en passant en utilisateur root pour l'exécution
, il peut y avoir un problème d'insuffisance autorisations, sudo signalera également une erreur, utilisez root directement pour fonctionner. tar zxvf redis-4.0.10.tar.gz
Installer les outils de compilationmake && make PREFIX=/usr/local/redis install

sudo apt-get update
sudo apt-get install gcc
sudo apt-get install make
Créer un dossier de cluster Redissudo apt-get install tcl

Comme il s'agit de /usr, l'opération est toujours effectuée sous les autorisations root

cd /usr/local/redis
mkdir cluster
cd cluster
Modifier le fichier de configuration mkdir 7000 7001 7002 7003 7004 7005
Copiez le fichier de configuration dans la configuration Redis dans six dossiers et modifiez le contenu suivant

La liaison dans le fichier de configuration Redis spécifie l'adresse IP de la carte réseau du serveur Redis, qui c'est-à-dire l'adresse IP du serveur Redis

Script de démarrage

# 端口号  
port 7000  
# 后台启动  
daemonize yes  
# 开启集群  
cluster-enabled yes  
#集群节点配置文件  
cluster-config-file nodes-7000.conf  
# 集群连接超时时间  
cluster-node-timeout 5000  
# 进程pid的文件位置  
pidfile /home/ubuntu/redis-4.0.10/pid/redis-7000.pid
#工作文件夹
dir "/home/ubuntu/redis-4.0.10/working"
# 开启aof  
appendonly yes  
# aof文件路径  
appendfilename "appendonly-7005.aof"  
# rdb文件路径  
dbfilename dump-7000.rdb

Copier après la connexion

Dans afin de simplifier l'opération, créez le script cd /home/ubuntu/redis-4.0.10/
et modifiez le script de démarrage en
touch start.link.sh
Les commentaires visent à simplifier l'opération. démarrage initial. Besoins IP Il est cohérent avec la liaison d'attribut bind dans redis.conf configurée pour chaque nœud. Après le démarrage, vous pouvez utiliser la commande ps -ef | grep redis pour demander si le thread correspondant est démarré

#!/bin/bash
export BASE_FLOD="/usr/local/redis"
{BASE_FLOD}/bin/redis-server /usr/local/redis/cluster/7000/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7001/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7002/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7003/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7004/redis.conf
/usr/local/redis/bin/redis-server /usr/local/redis/cluster/7005/redis.conf
#cd src
#./redis-trib.rb create --replicas 1 192.168.40.128:7000 192.168.40.128:7001 192.168.40.128:7002 192.168.40.128:7003 192.168.40.128:7004 192.168.40.128:7005

Copier après la connexion

Le programme associé est écrit en Ruby, donc pour construire un environnement d'exploitation Rudy, vous devez installer rudbygem

gem install redis. Cela semblera très lent lors de l'exécution ici. Vous devez attendre patiemment. Dans le répertoire d'installation de redis, exécutez le dossier src redis-trib.rb<. 🎜>
sudo apt-get install ruby rubygems -y
signifie que la connexion du groupe a démarré avec succès.
Vue du nœud, redémarrageredis-trib.rb create --replicas 1 192.168.40.128:7000 192.168.40.128:7001 192.168.40.128:7002 192.168.40.128:7003 192.168.40.128:7004 192.168.40.128:7005[OK] All 16384 slots covered.Afficher l'état d'exécution du cluster : utilisez la commande
pour vérifier l'état du cluster

Test de performances

Livré avec l'outil de test redis-benchmark

./redis-trib.rb check 192.168.40.128:7000

100 connexions simultanées, 100 000 requêtes, pour détecter les performances du serveur redis avec hôte localhost et port 6379 .

Testez les performances d'accès aux paquets de données d'une taille de 100 octets.
redis-benchmark -h 192.168.40.128 -p 6379 -c 100 -n 100000
Testez uniquement les performances de certaines opérations.
redis-benchmark -h 192.168.40.128 -p 6379 -q -d 100
Testez uniquement les performances de certains accès numériques.
redis-benchmark -t set,lpush -n 100000 -q
Paramètres du mot de passe du cluster
redis-benchmark -n 100000 -q script load "redis.call(‘set’,’foo’,’bar’)"Aucun mot de passe n'est requis pour l'établissement initial du cluster. Une fois le démarrage terminé, vérifiez d'abord si le fichier de configuration de chaque nœud a. autorisations de lecture et d'écriture. S'il n'y a pas d'autorisation de lecture et d'écriture, vous devez modifier l'autorisation de lecture et d'écriture par chmod. Connectez chaque nœud séparément via

pour le configurer

. constatez que la connexion n'est pas accessible après le redémarrage, modifiez le script de démarrage redis-.sh ligne 99, configurez le mot de passe du script de démarrage pour démarrer

./redis-cli -c -p port
config set masterauth password
config set requirepass password
config rewrite

Copier après la connexion

Test de code

@r = Redis.new(:host => @info[:host], :port => @info[:port], :timeout => 60,:password => "yangfan@1995")La relation entre le mode maître-esclave, la sentinelle et le cluster

Le mode maître-esclave spécifie la relation de réplication et de persistance, et spécifie la sauvegarde maître-esclave relation

/*
 *集群连接测试
 */

@Test
public void testJedisCluster() {
    Set<HostAndPort> nodes = new LinkedHashSet<>();
    //所有主机节点ip和端口
    nodes.add(new HostAndPort("192.168.40.128", 7000));
    nodes.add(new HostAndPort("192.168.40.128", 7001));
    nodes.add(new HostAndPort("192.168.40.128", 7002));
    nodes.add(new HostAndPort("192.168.40.128", 7003));
    nodes.add(new HostAndPort("192.168.40.128", 7004));
    nodes.add(new HostAndPort("192.168.40.128", 7005));
    //没有密码
    //JedisCluster cluster = new JedisCluster(nodes);
    //添加密码调用
    JedisCluster cluster = new JedisCluster(nodes, 5000, 5000, 10, "yangfan@1995", new GenericObjectPoolConfig());
    //cluster.zadd("test_1", String.valueOf(""),"id_2");
    System.out.println(cluster.zscore("test_1", "id_1"));
    try {
        cluster.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

Copier après la connexion

Sentinel : lorsque la base de données principale rencontre une interruption anormale de service, les développeurs peuvent sélectionner manuellement une base de données esclave à mettre à niveau vers la base de données principale afin que le système puisse continuer à fournir des services. Il s'agit principalement d'un outil de détection pour résoudre le problème de la commutation manuelle de la relation maître-esclave lors de la réplication maître-esclave, et peut automatiquement changer de maître-esclave.

使用哨兵，redis每个实例也是全量存储，每个redis存储的内容都是完整的数据，浪费内存且有木桶效应。为了最大化利用内存，可以采用集群，就是分布式存储。即每台redis存储不同的内容，共有16384个slot。每个redis分得一些slot，hash_slot = crc16(key) mod 16384 找到对应slot，键是可用键，如果有{}则取{}内的作为可用键，否则整个键是可用键集群至少需要3主3从，且每个实例使用不同的配置文件，主从不用配置，集群会自己选。

监控部署

RedisLive搭建部署

运行环境部署

git clone https://github.com/kumarnitin/RedisLive.git
下载redislive,解压缩unzip -o -d /home/ubuntu/ RedisLive-master.zip

进入src文件夹，复制example文件，编辑

"RedisServers":
[
    {
    "server": "192.168.40.128",
    "port" : 7000,
    "password" : "yangfan@1995"
    },
    //...多个监听
],

"DataStoreType" : "redis",

"RedisStatsServer": //存储的redis监听接口
{
    "server" : "127.0.0.1",
    "port" : 6379
},

"SqliteStatsStore" :
{
    "path":  "/home/ubuntu/redis-4.0.10/working/redislive.db" //进行存储的文件
} }

Copier après la connexion

ubuntu@ubuntu:~/redis-4.0.10$ mkdir pid
ubuntu@ubuntu:~/redis-4.0.10$ mkdir log
ubuntu@ubuntu:~/redis-4.0.10$ mkdir working
//保存aof，rdb，node-config文件。
RedisLive分为两部分，其中一部分为监控脚本，另一部分为web服务，所以需要分别启动。`./redis-monitor.py
--duration=120`./redis-live.py

Q&A

redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster redis node的redis.conf 绑定ip设置为指定的redis节点ip，启动集群时只用指定ip启动，不使用192.168.40.128
connect refuse 关闭防火墙
No module named redis