2024年最新Redis内存数据库主从复制、哨兵模式、集群部署等详细教程(更新中)
Centos 安装 Redis
检查安装 GCC 环境
[root@VM-4-17-centos ~]# gcc --version
gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-4)
Copyright (C) 2018 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
防火墙操作
Firewall(防火墙)是一种网络安全设备或系统,其主要功能是根据预定的安全策略监视、过滤和控制传入和传出网络的流量,以保护一个网络区域免受来自另一个网络区域的网络攻击和网络入侵行为。
关闭防火墙 systemctl stop firewalld.service
查看防火墙状态 firewall-cmd --state
卸载防火墙 remove firewall
使用 yum 安装 GCC 环境
GCC 是由 GNU(GNU’s Not Unix)组织开发的编程语言编译器集合,最初代表 “GNU C Compiler”,主要支持C语言。随着发展,GCC扩展了对其他编程语言的支持,包括 C++、Fortran、Java、Ada、Pascal、Go 和 D 语言等,并重新定义为 “GNU Compiler Collection”。
yum install gcc
创建 redis 安装目录
mkdir -p /opt/software/redis
cd /opt/software/redis
使用 wget 下载 redis 软件包
wget 是一个在 Unix 和 Linux 系统中广泛使用的命令行工具,用于从网络上自动下载文件。它支持 HTTP、HTTPS 和 FTP 协议,并具备丰富的下载选项和高级功能,如断点续传、限速下载、递归下载等。
限制下载速度 wget --limit-rate=100k http://example.com/path/to/largefile.zip
断点续传 wget -c http://example.com/path/to/largefile.zip
下载并重命名文件 wget -O newname.zip http://example.com/path/to/file.zip
下载 redis 软件包
wget https://download.redis.io/redis-stable.tar.gz
解压安装 redis 软件包
tar -zxf redis-stable.tar.gz
cd redis-state
make install
make install 命令在 Linux 系统中是一个非常重要的命令,它通常用于将编译好的程序或库文件安装到系统的相应目录中。通过 ./configure、make 和 make install 三个步骤,用户可以自定义编译选项、编译源码,并将编译好的程序安装到系统中。
make install 命令会将编译好的可执行文件、库文件等复制到系统的标准目录下,如 /usr/local/bin(可执行文件)、/usr/local/lib(库文件)等。在某些情况下,make install 还会在适当的位置创建指向实际文件的符号链接,并在 /usr/local/etc 等目录下创建配置文件,以便用户进行配置。
Centos 配置启动 Redis
查看 redis 目录
[root@VM-4-17-centos redis-stable]# ll
total 296
-rw-rw-r-- 1 lighthouse lighthouse 9854 Jul 29 13:31 00-RELEASENOTES
-rw-rw-r-- 1 lighthouse lighthouse 51 Jul 29 13:31 BUGS
-rw-rw-r-- 1 lighthouse lighthouse 5023 Jul 29 13:31 CODE_OF_CONDUCT.md
-rw-rw-r-- 1 lighthouse lighthouse 7178 Jul 29 13:31 CONTRIBUTING.md
drwxrwxr-x 8 lighthouse lighthouse 4096 Sep 21 20:10 deps
-rw-r--r-- 1 root root 105 Sep 21 20:57 dump.rdb
-rw-rw-r-- 1 lighthouse lighthouse 11 Jul 29 13:31 INSTALL
-rw-rw-r-- 1 lighthouse lighthouse 37493 Jul 29 13:31 LICENSE.txt
-rw-rw-r-- 1 lighthouse lighthouse 151 Jul 29 13:31 Makefile
-rw-rw-r-- 1 lighthouse lighthouse 6888 Jul 29 13:31 MANIFESTO
-rw-rw-r-- 1 lighthouse lighthouse 23845 Jul 29 13:31 README.md
-rw-rw-r-- 1 lighthouse lighthouse 108982 Sep 21 20:55 redis.conf
-rw-rw-r-- 1 lighthouse lighthouse 1805 Jul 29 13:31 REDISCONTRIBUTIONS.txt
-rwxrwxr-x 1 lighthouse lighthouse 279 Jul 29 13:31 runtest
-rwxrwxr-x 1 lighthouse lighthouse 283 Jul 29 13:31 runtest-cluster
-rwxrwxr-x 1 lighthouse lighthouse 1804 Jul 29 13:31 runtest-moduleapi
-rwxrwxr-x 1 lighthouse lighthouse 285 Jul 29 13:31 runtest-sentinel
-rw-rw-r-- 1 lighthouse lighthouse 1480 Jul 29 13:31 SECURITY.md
-rw-rw-r-- 1 lighthouse lighthouse 14700 Jul 29 13:31 sentinel.conf
drwxrwxr-x 4 lighthouse lighthouse 16384 Sep 21 20:13 src
drwxrwxr-x 11 lighthouse lighthouse 4096 Jul 29 13:31 tests
-rw-rw-r-- 1 lighthouse lighthouse 3628 Jul 29 13:31 TLS.md
drwxrwxr-x 9 lighthouse lighthouse 4096 Jul 29 13:31 utils
启动 redis 服务器
redis.conf 配置文件
配置 redis (redis.conf 配置文件)通过 :i
进行编辑,通过 :wq
保存退出。
vim redis.conf
常见配置信息
bind * -::* 修改bind项,* -::* 支持远程连接
daemonize yes 开启守护进程,后台运行。
logfile /opt/software/redis/redis-stable/redis.log 指定日志文件目录
dir /opt/software/redis 指定工作目录。
requirepass huanxingshouwan 给默认用户设置密码,主要是使用 redis-cli 连接redis-server 时,需要通过密码连接数据库。
protected-mode no 允许远程连接。如果不设置密码必须讲此设置关闭。
通过 redis.conf 配置文件启动 redis 数据库(daemonize yes)
[root@VM-4-17-centos redis-stable]# redis-server redis.conf
连接测试
[root@VM-4-17-centos redis-stable]# redis-cli
127.0.0.1:6379> set name hello
OK
127.0.0.1:6379> get name
"hello"
关闭 redis 数据库服务
[root@VM-4-17-centos redis-stable]# redis-cli
127.0.0.1:6379> shutdown
not connected>
查看 redis 运行日志
需要配置 logfile /opt/software/redis/redis-stable/redis.log 指定日志文件目录
配置 redis 工作目录(dump.rdb)
dir /opt/software/redis 指定工作目录
[root@VM-4-17-centos redis-stable]# cat redis.log
1863691:C 21 Sep 2024 21:09:36.282 * oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1863691:C 21 Sep 2024 21:09:36.282 * Redis version=7.4.0, bits=64, commit=00000000, modified=1, pid=1863691, just started
1863691:C 21 Sep 2024 21:09:36.282 * Configuration loaded
1863691:M 21 Sep 2024 21:09:36.283 * monotonic clock: POSIX clock_gettime
1863691:M 21 Sep 2024 21:09:36.284 * Running mode=standalone, port=6379.
1863691:M 21 Sep 2024 21:09:36.284 * Server initialized
1863691:M 21 Sep 2024 21:09:36.284 * Loading RDB produced by version 7.4.0
1863691:M 21 Sep 2024 21:09:36.284 * RDB age 6 seconds
1863691:M 21 Sep 2024 21:09:36.284 * RDB memory usage when created 0.99 Mb
1863691:M 21 Sep 2024 21:09:36.284 * Done loading RDB, keys loaded: 1, keys expired: 0.
1863691:M 21 Sep 2024 21:09:36.284 * DB loaded from disk: 0.000 seconds
1863691:M 21 Sep 2024 21:09:36.284 * Ready to accept connections tcp
yum 软件包管理器
yum(全称 Yellowdog Updater, Modified)是一个在 Fedora、RedHat、CentOS 等基于 RPM 包管理系统的 Linux 发行版中广泛使用的 Shell 前端软件包管理器。简单来说 yum 是一个能够自动处理 RPM 软件包依赖关系,并从指定的服务器自动下载 RPM 包进行安装的软件包管理器。
yum 常用命令功能描述
功能 | 命令 | 描述 |
---|---|---|
安装软件包 | yum install [软件包名] | 安装指定的软件包和其所有依赖项到系统中。 |
更新软件包 | yum update [软件包名] | 升级指定软件包到最新版本(如果不指定软件包名,则升级所有可更新的软件包)。 |
更新软件包 | yum upgrade [软件包名] | 类似于 update ,但主要用于跨版本升级软件包(在某些发行版中可能与 update 命令有细微差别)。 |
删除软件包 | yum remove [软件包名] | 从系统中卸载指定的软件包。 |
删除软件包 | yum erase [软件包名] | 和 remove 命令相同,用于删除系统中的指定软件包。 |
查询软件包信息 | yum info [软件包名] | 显示指定软件包的详细信息,包括版本、描述、依赖关系等。 |
搜索软件包 | yum search [关键词] | 在可用的软件仓库中搜索包含指定关键词的软件包。 |
列出已安装的软件包 | yum list installed | 列出系统上当前已安装的所有软件包列表。 |
清理缓存 | yum clean [all / packages / headers / oldheaders] | 清理 yum 的缓存目录。all 表示清理所有缓存,packages 清理软件包缓存,headers 清理头文件缓存,oldheaders 清理旧的头文件缓存。 |
Redis 远程连接
redis-cli 连接远程 redis 服务器
要使用 redis-cli 连接到另一台服务器上的 Redis 实例,你需要指定远程服务器的 IP 地址、端口(如果使用了非默认端口),以及(可选地)密码(如果 Redis 实例配置了 requirepass)。
redis-cli -h <remote_server_ip> -p <port> -a <remote_server_requirepass>
root@hcss-ecs-c6d0:~# redis-cli -h xxx.xxx.xxx.xxx -p 6379
xxx.xxx.xxx.xxx:6379> set name hello
(error) NOAUTH Authentication required.
常见问题
root@hcss-ecs-c6d0:~# redis-cli -h xxx.xxx.xxx.xxx -p 6379 -a edgehacker
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
xxx.xxx.xxx.xxx:6379> set name hello
OK
当你看到警告 Warning: Using a password with ‘-a’ or ‘-u’ option on the command line interface may not be safe. 时,这意味着在命令行中直接使用 -a 选项来传递密码可能不是一个安全的做法,因为这样做可能会使密码在进程列表、shell 历史或其他地方以明文形式可见,从而增加被未授权访问的风险。
root@hcss-ecs-c6d0:~# redis-cli -h xxx.xxx.xxx.xxx -p 6379 -a huanxingshouwan
xxx.xxx.xxx.xxx:6379> AUTH huanxingshouwan
Redis 主从复制部署
主从复制是指将一台 Redis 服务器的数据,复制到其他的 Redis 服务器。前者称为主节点(Master),后者称为从节点(Slave)。数据的复制是单向的,只能由主节点到从节点。默认情况下,每台 Redis 服务器都是主节点,且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
主从复制作用
数据冗余
:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
故障恢复
:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复。实际上是一种服务的冗余。
负载均衡
:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写 Redis 数据时应用连接主节点,读 Redis 数据时应用连接从节点),分担服务器负载。尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大提高 Redis 服务器的并发量。
高可用基石
:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是 Redis 高可用的基础。
配置主从复制部署
主节点 redis 数据库配置不需要做任何改变,从节点 redis 数据库都需要修改配置加上主节点信息,配置完成后,可以再主库检查从节点信息。
redis.conf 添加主节点信息
replicaof xxx.xxx.xxx.xxx 6379
配置密码 auth 主从复制部署
如果主 Redis 服务器配置了密码(也称为requirepass),则在从服务器上设置 slaveof 时,还需要配置 masterauth 指令来指定连接主服务器时使用的密码。这样,从服务器在尝试与主服务器建立连接并进行数据同步时,就会使用指定的密码进行身份验证。
# 指定主服务器的IP地址和端口号
replicaof xxx.xxx.xxx.xxx 6379
# 指定连接主服务器时使用的密码
masterauth huanxingshouwan
熟悉使用宝塔面板也可以通过 bt 面板快速设置
运行启动 redis-server 服务
运行 从节点 redis 服务器 info replication
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:xxx.xxx.xxx.xxx
master_port:6379
master_link_status:down
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_read_repl_offset:1
slave_repl_offset:1
master_link_down_since_seconds:-1
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:6f509bbb151a1560121b4ee760ed2eef0116b5e7
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
这个错误信息 (error) READONLY You can’t write against a read only replica. 表示你正在尝试向一个设置为只读模式的 Redis 从服务器(replica)写入数据。在 Redis 的主从复制架构中,从服务器默认是只读的,以防止数据不一致的情况发生。
127.0.0.1:6379> set name hello
(error) READONLY You can't write against a read only replica.
运行 主节点 redis 服务器 info replication
常见问题
127.0.0.1:6379> info repulication
NOAUTH Authentication required.
解决方案
[root@VM-4-17-centos redis-stable]# redis-cli
127.0.0.1:6379> AUTH huanxingshouwan (requirepass 密码)
OK
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=xxx.xxx.xxx.xxx,port=6379,state=wait_bgsave,offset=0,lag=0
master_failover_state:no-failover
master_replid:93e8811d9d2b24a9b81cd9e423021144c333a61b
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:462
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:462
slaveof 和 replicaof 常见版本问题
slaveof 和 replicaof 在 Redis 数据库都用于配置主从复制关系。在 Redis 的早期版本中(Redis 5.0 之前),通常使用 slaveof 命令或配置选项来设置从服务器(slave)与主服务器(master)之间的复制关系。从 Redis 5.0 版本开始,slaveof 命令和配置选项被替换为 replicaof。这一变化旨在更准确地描述从服务器(replica)的角色,并避免和 “slave”(奴隶)这一可能带有负面含义的词汇相关联。
主从复制缺点
复制延时,信号衰减。由于所有的写操作都是现在主节点 master 上操作,然后同步更新到从节点 slave 上,所以从主节点 master 同步到从节点 slave 机器上有一定的延迟,当系统很繁忙的时候,延迟问题会更加严重,从节点 slave 机器数量的增加也会使这个问题更加严重。如果 master 挂了,默认情况下,不会在 slave 节点中自动重选一个主节点 master,并且每次都要人工干预。
Redis 哨兵模式部署
哨兵模式原理
Redis哨兵模式是通过在独立的哨兵节点上运行特定的哨兵进程来实现的。这些哨兵进程监控主从节点的状态,并在发现故障时自动完成故障发现和转移,并通知应用方,实现高可用性。
sentinel.conf 配置。
protected-mode no 关闭保护模式
daemonize yes 指定 sentinel 后台启动
logfile "/opt/software/redis/redis-stable/sentinel.log" 指定日志存放路径
dir /opt/software/redis 指定数据库存放路径
sentinel monitor mymaster xxx.xxx.xxx.xxx 6379 2 指定该哨兵节点监控主节点信息(配置2,就是2个哨兵发现问题就完成主节点转移,若配置1,就是1个哨兵发现问题就完成主节点转移)
sentinel down-after-milliseconds mymaster 30000 判定服务器 down 掉的时间周期,默认30000毫秒
sentinel failover-timeout mymaster 180000 故障节点的最大超时时间为180000毫秒
启动哨兵服务
sentinel-server sentinel.conf