NoSQL数据库-Redis集群详解及案例实现
一、 关系型数据库和 NoSQL 数据库
1.1 数据库主要分为两大类：关系型数据库与 NoSQL 数据库
-
关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据主流的 MySQL、Oracle、MS SQL Server 和 DB2 都属于这类传统数据库。
-
NoSQL 数据库，全称为 Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储（memcached、Redis）、永久性键值存储（ROMA、Redis）、面向文档的数据库（MongoDB、CouchDB）、面向列的数据库（Cassandra、HBase），每种 NoSQL 都有其特有的使用场景及优点。
1.2 RDBMS和NOSQL的特点及优缺点
| 关系型数据库 | NoSQL数据库 | |
|---|---|---|
| 特点 | 数据关系基于关系模型，结构化存储，完整性约束 基于二维表及之间的联系，需要连接，并、交、差、除等数据操作 采用结构化的查询语言(SQL)做数据读写 操作需要数据的一致性，需要事务甚至是强一致性 | 非结构化的存储 基于多维关系模型 具有特有的使用场景 |
| 优点 | 保持数据的一致性（事务处理） 可以进行join等复杂查询 通用化，技术成熟 | 高并发，大数据下读写能力较强 支持分布式，易于扩展，可伸缩 简单，弱结构化存储 |
| 缺点 | 数据读写必须经过SQL分析，大量数据，高并发下读写性能不足 对数据做读写或者修改数据结构时需要加锁，影响并发操作 无法适应非结构化存储 扩展困难 昂贵、复杂 | join等复杂操作能力较弱 事务支持较弱 通用性差 无完整约束，复杂业务场景支持较差 |
二、Redis简介
2.1 Redis介绍
Redis 是一个开源的、基于内存的数据结构存储系统（NoSQL），通常用作数据库、缓存和消息代理。它的名字源自 “REmote DIctionary Server”（远程字典服务器）。目前国内外使用的公司众多,比如:阿里,百度,新浪微博,知乎网,GitHub,Twitter 等Redis是一个开源的、遵循BSD协议的、基于内存的而且目前比较流行的键值数据库(key-valuedatabase)，是一个非关系型数据库，redis 提供将内存通过网络远程共享的一种服务，提供类似功能的还有memcached，但相比memcached，redis还提供了易扩展、高性能、具备数据持久性等功能。Redis 在高并发、低延迟环境要求比较高的环境使用量非常广泛
2.2 Redis特性
- 速度快: 10W QPS,基于内存,C语言实现
- 单线程
- 持久化
- 支持多种数据结构
- 支持多种编程语言
- 功能丰富: 支持Lua脚本,发布订阅,事务,pipeline等功能
- 简单: 代码短小精悍(单机核心代码只有23000行左右),单线程开发容易,不依赖外部库,使用简单
- 主从复制
- 支持高可用和分布式
单线程为何如此快？
- 纯内存
- 非阻塞
- 避免线程切换和竞态消耗
2.3 Redis应用场景
- Session 共享：常见于web集群中的Tomcat或者PHP中多web服务器session共享
- 缓存：数据查询、电商网站商品信息、新闻内容
- 计数器：访问排行榜、商品浏览数等和次数相关的数值统计场景
- 微博/微信社交场合：共同好友,粉丝数,关注,点赞评论等
- 消息队列：ELK的日志缓存、部分业务的订阅发布系统
- 地理位置: 基于GEO(地理信息定位),实现摇一摇,附近的人,外卖等功能
2.4 缓存的实现流程
-
数据更新操作流程
写入数据：
- 应用程序尝试将新的数据写入 MySQL 数据库。
写MySQL：
- 如果数据成功写入 MySQL：
- 程序会继续进行下一步操作，即删除 Redis 中对应的缓存项。
- 如果写入 MySQL 失败：
- 程序直接返回，表示操作失败，不做进一步处理。
删除Redis对应项：
- 在 MySQL 数据写入成功后，程序会删除 Redis 中与此次写入相关的缓存数据。这一步是为了确保 Redis 缓存中的数据与 MySQL 数据库中的数据保持一致性。
返回：
- 最后，程序将返回操作结果，通知调用方操作的成功与否。
-
数据读取操作流程
读取数据请求：
- 客户端或应用程序发起一个读取数据的请求。
读Redis：
- 系统首先尝试从 Redis 缓存中读取数据：
- 如果从 Redis 中读取到了数据，直接返回读取的数据。
- 如果未能从 Redis 中读取到数据，执行下一步操作。
读MySQL：
- 当 Redis 中未命中（即缓存中没有请求的数据），系统将回源到 MySQL 数据库进行查询：
- 如果 MySQL 中也未能获取到相应的数据，则返回“未读取到数据”的状态或相应的错误信息给客户端。
- 如果 MySQL 查询成功，读取到所需数据。
写Redis：
- 当从 MySQL 成功读取数据后，系统会将此数据写入到 Redis 中。这样做的目的是为了缓存数据，便于后续相同请求的快速响应。
返回数据：
- 最终，无论是从 Redis 还是 MySQL 中获取的数据，都会返回给客户端或调用方。
三、Redis的安装
官方下载地址：http://download.redis.io/releases/
3.1Redis的基础环境部署
| 主机名 | IP | 角色 |
|---|---|---|
| redis-node1 | 172.25.254.14 | master |
| redis-node2 | 172.25.254.24 | slave1 |
| redis-node3 | 172.25.254.34 | slave2 |
注意：以下案例的实现所有环境都为Rehl9.1
# 配置好以上后，需要将防火墙关闭，以防影响案例的实现
[root@redis-node1 ~]# systemctl stop firewalld.service
[root@redis-node1 ~]# systemctl mask firewalld.service
[root@redis-node1 ~]# setenforce 0
3.2rpm包方式安装
[root@redis-node1 ~]# dnf install redis -y
正在更新 Subscription Management 软件仓库。
无法读取客户身份
本系统尚未在权利服务器中注册。可使用 subscription-manager 进行注册。
上次元数据过期检查：0:21:21 前，执行于 2024年08月25日 星期日 22时33分52秒。
依赖关系解决。
=========================================================================================
软件包 架构 版本 仓库 大小
=========================================================================================
安装:
redis x86_64 6.2.7-1.el9 Appstream 1.3 M
事务概要
=========================================================================================
安装 1 软件包
总计：1.3 M
安装大小：4.7 M
3.3 源码安装
在官网下载稳定版本的
注意：在一台主机中不能即用rpm安装也用源码安装
1.在官网下载好源码包，传送至linux系统后，进行解压
[root@redis-node1 ~]# tar zxf redis-7.4.0.tar.gz # 解压源码包
[root@redis-node1 ~]# cd redis-7.4.0/ # 进入解压目录
2.安装编译工具并启动执行编译
# 安装编译工具
[root@redis-node1 redis-7.4.0]# dnf install make gcc initscripts -y
# 执行编译命令
[root@redis-node1 redis-7.4.0]# make # 进行源码编译
[root@redis-node1 redis-7.4.0]# make install # 进行源码安装
3.启动Redis
# 启动Redis
[root@redis-node1 redis-7.4.0]# cd utils/
[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
This systems seems to use systemd. # 提示系统使用的是systemd的初始化方式
Please take a look at the provided example service unit files in this directory, and adapt and stall them. Sorry!
# 注释以下检测，解决启动报错问题
[root@redis-node1 utils]# vim ./install_server.sh
76 #bail if this system is managed by systemd
77 #_pid_1_exe="$(readlink -f /proc/1/exe)"
78 #if [ "${_pid_1_exe##*/}" = systemd ]
79 #then
80 # echo "This systems seems to use systemd."
81 # echo "Please take a look at the provided example service unit files in this direct ory, and adapt and install them. Sorry!"
82 # exit 1
83 #fi
4.重新启动
[root@redis-node1 utils]# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] # 端口号，点击Enter
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] # 配置文件，点击Enter
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] # 日志文件，点击Enter
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]#数据目录，点击Enter
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] # 命令路径，点击Enter
Selected config:
Port : 6379
Config file : /etc/redis/6379.conf
Log file : /var/log/redis_6379.log
Data dir : /var/lib/redis/6379
Executable : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort. # 最后再点击Enter
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful! # 启动成功
5.配置redis
[root@redis-node1 utils]# vim /etc/redis/6379.conf # 修改配置文件
89 bind * -::*
112 # even if no authentication is configured.
113 protected-mode no # 关闭身份认证
[root@redis-node1 utils]# /etc/init.d/redis_6379 restart # 重新启动redis
Stopping ...
Redis stopped
Starting Redis server...
[root@redis-node1 utils]# netstat -antlpe | grep redis # 查看redis的端口（6379）是否在监听
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 0 79267 46334/redis-server
tcp6 0 0 :::6379 :::* LISTEN 0 79268 46334/redis-server
6.测试
# 查看信息
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> info
3.3.1 其它redis的部署
通过以上rede-node1的安装成功后，可以通过传送编译好的源码包传送到其它redis主机进行安装、配置。
1.# 在redis-node1中传送编译好的源码包
[root@redis-node1 ~]# scp -r redis-7.4.0 root@172.25.254.34:/root
2.# 安装编译工具
[root@redis-node2 ~]# dnf install make gcc initscripts -y
3.# 源码安装
[root@redis-node2 ~]# cd redis-7.4.0/
[root@redis-node2 redis-7.4.0]# make install
4.# 因为传送过来的源码编译包已经配置好，所以这里直接启动redis，不用再处理报错
[root@redis-node2 redis-7.4.0]# cd utils/
[root@redis-node2 utils]# ./install_server.sh
5.# 但是依旧需要手动修改主配置文件的设置
[root@redis-node1 utils]# vim /etc/redis/6379.conf # 修改配置文件
89 bind * -::*
112 # even if no authentication is configured.
113 protected-mode no # 关闭身份认证
6.# 重新启动redis
[root@redis-node2 utils]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
7.# 查看redis的端口（6379）是否在监听
[root@redis-node2 utils]# netstat -antlpe | grep redis
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 0 67801 40927/redis-server
tcp6 0 0 :::6379 :::* LISTEN 0 67802 40927/redis-server
其他redes的主机操作也一致
3.3.2 源码安装的Redis服务卸载
[root@redis-node1 ~]# /etc/init.d/redis_6379 stop # 停止redis服务
[root@redis-node1 ~]# cd redis-7.4.0/ # 进入编译目录
[root@redis-node1 redis-7.4.0]# make uninstall # 执行卸载命令
[root@redis-node1 redis-7.4.0]# ps aux | grep redis # 查看是否还存在redis的进程
四、Redis的基本操作
| 命令 | 说明 |
|---|---|
| config get * | 查看配置 |
| select 1 | 选择数据库 |
| flushdb | 清空当前数据库 |
| flushall | 清空所有数据库 |
| move key 1 | 移动key |
| del key | 删除 |
| rename oldkey newkey | 改名 |
| expire key 10 | 设置过期时间 |
| persist key | 设置持久化 |
| keys user* | 查询 |
| exists key | 判断是否存在 |
示例：
1.查看配置
[root@redis-node1 utils]# redis-cli
127.0.0.1:6379> config get bind # 查看bind的配置
1) "bind"
2) "* -::*"
127.0.0.1:6379> config get * # 查看所有配置
2.写入和读取数据
127.0.0.1:6379> set name haha # 设置名字
OK
127.0.0.1:6379> get name # 查询名字
"haha"
3.查看key值
127.0.0.1:6379> set name haha
OK
127.0.0.1:6379> keys * # 查看所有key
1) "name"
4.选择数据库，redis中有0-15个数据库
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> select 16
(error) ERR DB index is out of range # 超出选择范围
5.移动数据
127.0.0.1:6379> set name haha # 设定一个数据
OK
127.0.0.1:6379> move name 1 # 移动数据
(integer) 1
127.0.0.1:6379> get name # 在本来的库进行查询
(nil)
127.0.0.1:6379> select 1 # 选择到1库
OK
127.0.0.1:6379[1]> get name # 再重新查询，数据移动
"haha"
6.改变键名
127.0.0.1:6379[1]> rename name id
OK
127.0.0.1:6379[1]> get name
(nil)
127.0.0.1:6379[1]> get id
"haha"
7.设定数据过期时间
127.0.0.1:6379> set name haha ex 5 # 设置过期时间
OK
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
"haha"
127.0.0.1:6379> get name
(nil)
# 如果没有设定数据过期时间会一直存在， /var/lib/redis/6379/dump.rdb内存快照中
8.删除
127.0.0.1:6379> set name xixi
OK
127.0.0.1:6379> get name
"xixi"
127.0.0.1:6379> del name
(integer) 1
127.0.0.1:6379> get name
(nil)
9.持久化保存
127.0.0.1:6379> persist name
(integer) 0
10.判断key是否存在
127.0.0.1:6379> exists name
(integer) 1
127.0.0.1:6379> exists lee
(integer) 0
11.清空当前库
127.0.0.1:6379> flushdb
OK
127.0.0.1:6379> get name
(nil)
12.清空所有库
127.0.0.1:6379> flushall
ok
13.退出数据库
127.0.0.1:6379> quit
[root@redis-node1 ~]#
五、Readis的主从复制
5.2主从同步过程
- slave节点发送同步亲求到master节点
- slave节点通过master节点的认证开始进行同步
- master节点会开启bgsave进程发送内存rbd到slave节点，在此过程中是异步操作，也就是说master节点仍然可以进行写入动作
- slave节点收到rdb后首先清空自己的所有数据
- slave节点加载rdb并进行数据恢复
- 在master和slave同步过程中master还会开启新的bgsave进程把没有同步的数据进行缓存
- 然后通过自有的replactionfeedslave函数把未通过内存快照发动到slave的数据一条一条写入到slave中
5.2配置主从同步
1.修改master
[root@redis-node1 & node2 & node3 ~]# vim /etc/redis/6379.conf
protected-mode no #关闭protected模式
[root@redis-node1 &node2 & node3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Redis stopped
Starting Redis server...
2.配置Slave节点
[root@redis-node2 & 3 ~]# vim /etc/redis/6379.conf
replicaof 172.25.254.14 6379
[root@redis-node2 & 3 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
3.测试效果
# 在master中写入数据
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> set name haha
OK
# 在slave进行查看
[root@redis-node2 utils]# redis-cli
127.0.0.1:6379> get name
"haha"
六、Redis的高可用（哨兵模式）
6.1Redis哨兵模式
-
Sentinel 进程是用于监控redis集群中Master主服务器工作的状态，在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用，此功能在redis2.6+的版本已引用，Redis的哨兵模式到了2.8版本之后就稳定了下来。一般在生产环境也建议使用Redis的2.8版本的以后版本
-
每个哨兵(Sentinel)进程会向其它哨兵(Sentinel)、Master、Slave定时发送消息，以确认对方是否”活”着，如果发现对方在指定配置时间(此项可配置)内未得到回应，则暂时认为对方已离线，也就是所谓的”主观认为宕机” (主观:是每个成员都具有的独自的而且可能相同也可能不同的意识)，英文名称：Subjective Down，简称SDOWN
-
有主观宕机，对应的有客观宕机。当“哨兵群”中的多数Sentinel进程在对Master主服务器做出SDOWN 的判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，这种方式就是“客观宕机”(客观:是不依赖于某种意识而已经实际存在的一切事物)，英文名称是：Objectively Down， 简称 ODOWN
-
通过一定的vote算法，从剩下的slave从服务器节点中，选一台提升为Master服务器节点，然后自动修改相关配置，并开启故障转移（failover）
-
Sentinel 机制可以解决master和slave角色的自动切换问题，但单个 Master 的性能瓶颈问题无法解决,类似于MySQL中的MHA功能
-
Redis Sentinel中的Sentinel节点个数应该为大于等于3且最好为奇数
sentinel中的三个定时任务
-
每10秒每个sentinel对master和slave执行info
- 发现slave节点
- 确认主从关系
-
每2秒每个sentinel通过master节点的channel交换信息(pub/sub)
- 通过sentinel__:hello频道交互
- 交互对节点的“看法”和自身信息
-
每1秒每个sentinel对其他sentinel和redis执行pi
6.2Redis的哨兵模式部署
注意：在所有阶段中关闭 protected-mode no
1.配置master
# 编辑配置文件
[root@redis-node1 ~]# cd redis-7.4.0/
[root@redis-node1 redis-7.4.0]# cp sentinel.conf /etc/redis/
[root@redis-node1 redis-7.4.0]# vim /etc/redis/sentinel.conf
protected-mode no # 关闭保护模式
port 26379 # 监听端口
daemonize no # 进入不打如后台
pidfile /var/run/redis-sentinel.pid # sentinel进程pid文件
loglevel notice # 日志级别
sentinel monitor mymaster 172.25.254.100 6379 2 # 创建sentinel监控监控master主
机，2表示必须得到2票
sentinel down-after-milliseconds mymaster 10000 # master中断时长，10秒连不上视为master下线
sentinel parallel-syncs mymaster 1 # 发生故障转移后，同时开始同步新master数据的slave数量
sentinel failover-timeout mymaster 180000 # 整个故障切换的超时时间为3分钟
[root@redis-node1 redis-7.4.0]# cp /etc/redis/sentinel.conf /etc/redis/sentinel.conf.bak # 对修改好的配置文件进行备份，因为在后面进行哨兵的启用后会修改配置文件，以防出现问题，将其进行备份。
2.在master复制配置文件到其他阶段
[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.24:/etc/redis/
[root@redis-node1 redis]# scp sentinel.conf root@172.25.254.34:/etc/redis/
3.启动redis-sentinel
一主两从的服务都要启动
/etc/redis/sentinel.conf 文件在用哨兵程序调用后会更改其配置文件，如果需要重新做需要删掉文件重新编辑
4.测试
刚启动时
模拟故障
# 复制一个master会话窗口
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> shutdown # 关闭redis服务
(0.82s)
not connected>
再次查询
6.3 Redis哨兵模式会存在的问题以及解决方案
-
问题
在生产环境中如果master和slave中的网络出现故障，由于哨兵的存在会把master提出去当网络恢复后，master发现环境发生改变，master就会把自己的身份转换成slavemaster变成slave后会把网络故障那段时间写入自己中的数据清掉，这样数据就丢失了。
-
解决方案
master在被写入数据时会持续连接slave，mater确保有2个slave可以写入我才允许写入，如果slave数量少于2个便拒绝写入
# 在master中进行设定
[root@redis-node1 ~]# redis-cli
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "0"
127.0.0.1:6379> CONFIG set min-slaves-to-write 2
OK
127.0.0.1:6379> CONFIG GET min-slaves-to-write
1) "min-slaves-to-write"
2) "2"
127.0.0.1:6379>
# 以上为临时设定，若想永久设定可以在/etc/redis/6379.conf中进行设定
# 永久设定
[root@redis-node1 ~]# vim /etc/redis/6379.conf
113 # even if no authentication is configured.
114 protected-mode no
115 min-slaves-to-write 2 # 写入设定的slave数量
[root@redis-node1 ~]# /etc/init.d/redis_6379 restart