您现在的位置是:首页 > 正文

Redis集群

2024-02-01 04:48:50阅读 2

定义

Redis集群是一个提供在多个Redis节点间共享数据的程序集,可以支持多个Master。
在这里插入图片描述

作用

Redis集群支持多个Master,每个Master又可以挂在多个Slave,并且由于集群自带哨兵的故障转移机制,内置了高可用的支持,无需再去使用哨兵功能。
客户端与Redis的节点连接,不再需要连接集群中所有的节点,只需要任意连接集群中的一个可用节点即可
槽位slot负责分配到各个物理服务节点,由对应的集群来负责维护节点,插槽和数据之间的关系。

集群的算法-分片-槽位slot

集群的密钥空间被分为16384个槽,有效地设置了16384个主节点的集群大小上限(但是建议最大节点大小为1000个节点)
哈希槽实质是一个数组,数组[0, 2 ^ 14 - 1]形成hash slot空间,解决均匀分配问题,在数据和节点之间又加入了一层,把这层称为哈希槽,用于管理数据和节点之间的关系,槽解决的粒度问题,相当于把粒度变大了,便于数据移动。

Redis集群的数据分片:

集群没有使用一致性hash,而是引入哈希槽的概念,Redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每个节点负责一部分hash槽。
在这里插入图片描述
集群中每个redis实例都被认为是整个数据的一个分片,使用redis集群时我们会将存储的数据分散到多台redis机器上。
最大的优势就是方便扩容缩容和数据分派查找。

slot槽位映射,业界的三种解决方案

哈希取余分区

每次数据变动导致节点有变动,映射关系需要重新进行计算。
在这里插入图片描述

一致性哈希算法

提出一致性Hash解决方案,为了当服务器个数发生变动的时候尽量减少影响客户端到服务器的映射关系。
步骤1:
算法构建一致性哈希环
在这里插入图片描述
步骤2:
redis服务器IP节点映射
在这里插入图片描述
步骤3:
key落到服务器落键规则

在这里插入图片描述
优点:
加入和删除节点只影响哈希环中顺时针方向相邻的节点,对其他节点无影响。
容错性:
在这里插入图片描述
扩展性:
在这里插入图片描述
缺点:
数据分布与节点位置相关,因为这些节点不是均匀分布在哈希环上,所以数据进行存储时达不到均匀分布。
在这里插入图片描述

哈希槽分区

在这里插入图片描述
在这里插入图片描述
为什么槽的数量是16384
CRC16算法产生的hash值有16bit,该算法产生65535个值,但为什么不用65535呢

在这里插入图片描述
redis集群不保证强一致性,在特定条件下,redis集群可能会丢掉一些被系统收到的写入请求命令。

集群环境案例步骤

三主三从
在这里插入图片描述

新建6个独立的redis实例服务

比如6381配置:

bind 0.0.0.0
daemonize yes
protected-mode no
port 6381
logfile "/myredis/cluster/cluster6381.log"
pidfile /myredis/cluster6381.pid
dir /myredis/cluster
dbfilename dump6381.rdb
appendonly yes
appendfilename "appendonly6381.aof"
requirepass 111111
masterauth 111111
 
cluster-enabled yes
cluster-config-file nodes-6381.conf
cluster-node-timeout 5000

6382配置:

bind 0.0.0.0
daemonize yes
protected-mode no
port 6382
logfile "/myredis/cluster/cluster6382.log"
pidfile /myredis/cluster6382.pid
dir /myredis/cluster
dbfilename dump6382.rdb
appendonly yes
appendfilename "appendonly6382.aof"
requirepass 111111
masterauth 111111
 
cluster-enabled yes
cluster-config-file nodes-6382.conf
cluster-node-timeout 5000

开启它们的服务,比如
redis-server /myredis/cluster/redisCluster6381.conf

构建主从关系命令

–cluster-replicas表示为每个master创建一个slave节点
redis-cli -a 111111 --cluster create --cluster-replicas 1 192.168.111.175:6381 192.168.111.175:6382 192.168.111.172:6383 192.168.111.172:6384 192.168.111.174:6385 192.168.111.174:6386
在这里插入图片描述
一切都ok,三主三从搞定
在这里插入图片描述

链接进入6381作为切入点,查看并检验集群状态

redis-cli -a 111111 6381
info replication
在这里插入图片描述
cluster nodes
查看集群信息
在这里插入图片描述
cluster info
在这里插入图片描述

三主三从redis集群读写

注意槽位的范围区间,需要路由到位
在这里插入图片描述
在这里插入图片描述
防止出现这种错误,加入参数-c,优化路由。
redis-cli -a 111111 -p 6381 -c
在这里插入图片描述
查看某个key该属于对应的槽位值CLUSTER KEYSLOT键名称
cluster keyslot k1
在这里插入图片描述

主从切换迁移案例

主6381和从机切换,先停止主机6381,6381主机停了,对应的真实从机上位。
6381原来的主机回来了,是否会上位?
恢复前:
在这里插入图片描述
恢复后:
6381不会上位并从节点形式回归
在这里插入图片描述
集群不保证数据一致性百分之百OK,一定会有数据丢失情况。
上面一换后6381和6384主从对调了,该怎么给它调回来?
重新登录6381机器后,使用命令CLUSTER FAILOVER
在这里插入图片描述

主从扩容案例

首先新建6387和6388两个服务实例配置文件+新建后启动:
vim /myredis/cluster/redisCluster6387.conf

bind 0.0.0.0
daemonize yes
protected-mode no
port 6387
logfile "/myredis/cluster/cluster6387.log"
pidfile /myredis/cluster6387.pid
dir /myredis/cluster
dbfilename dump6387.rdb
appendonly yes
appendfilename "appendonly6387.aof"
requirepass 111111
masterauth 111111

cluster-enabled yes
cluster-config-file nodes-6387.conf
cluster-node-timeout 5000

vim /myredis/cluster/redisCluster6388.conf


bind 0.0.0.0
daemonize yes
protected-mode no
port 6388
logfile "/myredis/cluster/cluster6388.log"
pidfile /myredis/cluster6388.pid
dir /myredis/cluster
dbfilename dump6388.rdb
appendonly yes
appendfilename "appendonly6388.aof"
requirepass 111111
masterauth 111111
 
cluster-enabled yes
cluster-config-file nodes-6388.conf
cluster-node-timeout 5000

启动这两个实例
将新增的6387节点作为master节点加入原集群:
redis-cli -a 111111 --cluster add-node 192.168.111.174:6387 192.168.111.175:6381
在这里插入图片描述
检查集群情况第一次:
redis-cli -a 111111 --cluster check 192.168.111.175:6381
在这里插入图片描述
重新分配槽号:
redis -cli -a 111111 --cluster reshard 192.168.111.175:6381
在这里插入图片描述
在这里插入图片描述
再检查一次:
在这里插入图片描述
为主节点6387分配从节点6388:
在这里插入图片描述
检查集群第三次:
在这里插入图片描述

主从缩容案例

目的:6387和6388下线
检查集群情况第一次,先获得从机6388的节点ID:
在这里插入图片描述
从集群中将4号从节点6388删除:
redis-cli -a 111111 --cluster del-node 192.168.111.174:6388 218e7b8b4f81be54ff173e4776b4f4faaf7c13da
在这里插入图片描述
将6387的槽清空,重新分配,本例将清出来的槽号都给6381
redis-cli -a 111111 --cluster reshard 192.168.111.175:6381
在这里插入图片描述
在这里插入图片描述
检查集群第二次:
在这里插入图片描述
删除6387:
在这里插入图片描述
检查集群情况第三次,6387/6388被彻底去除
在这里插入图片描述
在这里插入图片描述

集群常用命令和CRC16算法分析

不在同一个槽位下的键值无法使用mset,mget等多键操作,但可以通过{}来定义同一个组的概念,使key中{}内相同内容的键值对放到一个slot槽位去。
在这里插入图片描述
redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每一个节点负责一部分hash槽。
常用的命令有:
cluster-require-full-coverage yes
在这里插入图片描述
CLUSTER COUNTKEYSINSLOT 槽位数字编号
1表示该槽位被占用,0表示该槽位没占用
ClUSTER KEYSLOT 键名称
该键应该存在哪个槽位上

网站文章

  • 记一次生产环境GitLab服务和数据迁移到阿里云和GitLab版本升级

    记一次生产环境GitLab服务和数据迁移到阿里云和GitLab版本升级

    GitLab是一个用于管理代码的仓库系统,他是一个开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的Web服务,可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能,能够浏览源代码,管理代码缺陷和注释。.........

    2024-02-01 04:48:20
  • SpringBoot整合Elasticsearch-elasticsearch-rest-high-level-client

    前言在前面几篇文章中演示ES安装时对外暴露有两个端口,一个是9200,一个是9300,这里9300是一个TCP端口,ES集群环境下也是通过9300端口通信的,是长连接的形式通信的,这里不推荐使用Spr...

    2024-02-01 04:48:13
  • Spring Boot 系统启动任务

    1. 背景 有时候我们会希望在Spring Boot项目启动时,完成一些初始化工作。 例如加载初始化的缓存信息,初始化一些系统运行的基本参数。 此时,就可以通过Spring Boot系统启动任务实现,...

    2024-02-01 04:48:05
  • DVWA--存储型XSS(初中高)

    DVWA--存储型XSS(初中高)

    选择“View Source”查看源程序,发现服务器端对message框内容使用了htmlspecialchars() 函数进行转义,对name框使用str_replace()函数进行替换。选择“Vi...

    2024-02-01 04:47:36
  • Spring框架源码(五) @configuration源码深度解析

    Spring框架源码(五) @configuration源码深度解析

    Configuration 注解是spring-context模块提供的一个给开发者使用的配置类注解,开发者可以通过@Configuration注解来定义配置类,也可以使用xml形式注入。例如配置数据...

    2024-02-01 04:47:30
  • Aria2下载软件的Linux安装、配置文件编辑、开机启动、浏览器插件连接

    Aria2下载软件的Linux安装、配置文件编辑、开机启动、浏览器插件连接

    1. 安装。 这里主要是在Debian及衍生发行版上的操作。 直接用 apt install aria2 即可 apt update apt install aria2 # aria2 的命令是 ar...

    2024-02-01 04:47:23
  • 新起点

    2019年7月9日:进入新的工作环境,面对全新的电脑,就像现在的自己一样,犹如一张白纸,可以随意涂画。年轻的心斗志昂扬,重新出发创出属于自己的精彩。1. 不断学习2.认真负责3.勤学好问...

    2024-02-01 04:47:17
  • monkey环境搭建

    monkey环境搭建

    monkey的安装环境需要4块:1.Java环境JDK的安装2.Android SDK环境3.启动模拟器(夜神模拟器)或者真机4.执行monkey测试命令第一部分:Java环境的安装1)下载好JDK的安装包后,双击安装2)配置环境变量:我的电脑--右键属性--高级系统设置--环境变量在系统变量处点击新建:填写变量名和JDK的安装路径JAVA...

    2024-02-01 04:46:47
  • 记录自己第一次科研经历

    这里写自定义目录标题科研之路研究方向选择功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右Sma...

    2024-02-01 04:46:40
  • 什么是Intel Elkhart Lake?专用于物联网的处理器系列

    什么是Intel Elkhart Lake?专用于物联网的处理器系列

    Elkhart Lake将部署的关键应用程序将包括长时间的正常运行时间、不间断的操作、在空间受限的位置实施,以及频繁的冲击、振动和温度变化。与Bay Trail相比,Elkhart Lake处理器的P...

    2024-02-01 04:46:33