Cluster集群

(1) 2024-05-19 12:12

Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说Cluster集群,希望能够帮助你!!!。

集群cluster

现状问题:业务发展过程中遇到的峰值瓶颈

  • redis提供的服务OPS可以达到10万/秒,当前业务OPS已经达到10万/秒

  • 内存单机容量达到256G,当前业务需求内存容量1T

  • 使用集群的方式可以快速解决上述问题

集群简介

集群就是使用网络将若干台计算机联通起来,并提供统一的管理方式,使其对外呈现单机的服务效果

Cluster集群_https://bianchenghao6.com/blog__第1张

集群作用:

  • 分散单台服务器的访问压力,实现负载均衡

  • 分散单台服务器的存储压力,实现可扩展性

  • 降低单台服务器宕机带来的业务灾难

Cluster集群_https://bianchenghao6.com/blog__第2张

Cluster集群结构设计

数据存储设计:

  1. 通过算法设计,计算出key应该保存的位置

  2. 将所有的存储空间计划切割成16384份,每台主机保存一部分

    注意:每份代表的是一个存储空间,不是一个key的保存空间

  3. 将key按照计算出的结果放到对应的存储空间

Cluster集群_https://bianchenghao6.com/blog__第3张

那redis的集群是如何增强可扩展性的呢?譬如我们要增加一个集群节点

Cluster集群_https://bianchenghao6.com/blog__第4张

当我们查找数据时,集群是如何操作的呢?

  • 各个数据库相互通信,保存各个库中槽的编号数据

  • 一次命中,直接返回

  • 一次未命中,告知具体位置

Cluster集群_https://bianchenghao6.com/blog__第5张

Cluster集群结构搭建

首先要明确的几个要点:

  • 配置服务器(3主3从)

  • 建立通信(Meet)

  • 分槽(Slot)

  • 搭建主从(master-slave)

Cluster配置

  • 是否启用cluster,加入cluster节点

cluster-enabled yes|no
  • cluster配置文件名,该文件属于自动生成,仅用于快速查找文件并查询文件内容

cluster-config-file filename
  • 节点服务响应超时时间,用于判定该节点是否下线或切换为从节点

cluster-node-timeout milliseconds
  • master连接的slave最小数量

cluster-migration-barrier min_slave_number

Cluster节点操作命令

  • 查看集群节点信息

cluster nodes
  • 更改slave指向新的master

cluster replicate master-id
  • 发现一个新节点,新增master

cluster meet ip:port
  • 忽略一个没有solt的节点

cluster forget server_id
  • 手动故障转移

cluster failover

集群操作命令:

  • 创建集群

redis-cli –-cluster create masterhost1:masterport1 masterhost2:masterport2  masterhost3:masterport3 [masterhostn:masterportn …] slavehost1:slaveport1  slavehost2:slaveport2 slavehost3:slaveport3 -–cluster-replicas n

注意:master与slave的数量要匹配,一个master对应n个slave,由最后的参数n决定

master与slave的匹配顺序为第一个master与前n个slave分为一组,形成主从结构

 

  • 添加master到当前集群中,连接时可以指定任意现有节点地址与端口

redis-cli --cluster add-node new-master-host:new-master-port now-host:now-port
  • 添加slave

redis-cli --cluster add-node new-slave-host:new-slave-port master-host:master-port --cluster-slave --cluster-master-id masterid
  • 删除节点,如果删除的节点是master,必须保障其中没有槽slot

redis-cli --cluster del-node del-slave-host:del-slave-port del-slave-id
  • 重新分槽,分槽是从具有槽的master中划分一部分给其他master,过程中不创建新的槽

redis-cli --cluster reshard new-master-host:new-master:port --cluster-from src-  master-id1, src-master-id2, src-master-idn --cluster-to target-master-id --  cluster-slots slots

注意:将需要参与分槽的所有masterid不分先后顺序添加到参数中,使用,分隔

指定目标得到的槽的数量,所有的槽将平均从每个来源的master处获取

  • 重新分配槽,从具有槽的master中分配指定数量的槽到另一个master中,常用于清空指定master中的槽

redis-cli --cluster reshard src-master-host:src-master-port --cluster-from src-  master-id --cluster-to target-master-id --cluster-slots slots --cluster-yes

 

今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。

上一篇

已是最后文章

下一篇

已是最新文章

发表回复