Redis-基本了解
一、Redis 初识
Redis 是⼀种基于键值对(key-value)的NoSQL数据库,与很多键值对数据库不同的是,Redis 中的值可以是由string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)、 Bitmaps(位图)、HyperLogLog、GEO(地理信息定位)等多种数据结构和算法组成,因此Redis 可以满⾜很多的应⽤场景,⽽且因为Redis会将所有数据都存放再内存中,所以它的读写性能⾮常惊 ⼈。不仅如此,Redis还可以将内存的数据利⽤快照和⽇志的形式保存到硬盘上,这样在发⽣类似断电 或者机器故障的时候,内存中的数据不会“丢失”。除了上述功能以外,Redis还提供了键过期、发布 订阅、事务、流⽔线、Lua脚本等附加功能。
二、Redis 特性
1. 速度快
正常情况下,Redis执⾏命令的速度⾮常快,官⽅给出的数字是读写性能可以达到10万/秒,当 然这也取决于机器的性能,但这⾥先不讨论机器性能上的差异,只分析⼀下是什么造就了Redis如此 之快,可以⼤概归纳为以下四点:
- Redis的所有数据都是存放在内存中的,表1-1是⾕歌公司2009年给出的各层级硬件执⾏速度,所以把数据放在内存中是Redis速度快的最主要原因。
- Redis使⽤了单线程,预防了多线程可能产⽣的竞争问题。
- 作者对于Redis源代码可以说是精打细磨。
表1-1⾕歌公司给出的各层级硬件执⾏速度
层级 | 速度 |
---|---|
L1 cache reference | 0.5 ns |
Branch mispredict | 5 ns |
L2 cache reference | 7 ns |
Mutex lock/unlock | 25 ns |
Main memory reference | 100 ns |
Compress 1K bytes with Zippy | 3000 ns |
Send 2 K bytes over 1 Gbps network | 20000 ns |
Read 1 MB sequentially from Memory | 250000 ns |
Round trip within same datacenter | 500000 ns |
Disk seek | 10000000 ns |
Read 1 MB sequentially from disk | 20000000 ns |
Send packet CA -> Netherlands -> CA | 150000000 ns |
2. 基于键值对的数据结构服务器
⼏乎所有的编程语⾔都提供了类似字典的功能,例如C++⾥的map、Java⾥的map、Python⾥ 的dict等,类似于这种组织数据的⽅式叫做基于键值对的⽅式,与很多键值对数据库不同的是, Redis 中的值不仅可以是字符串,⽽且还可以是具体的数据结构,这样不仅能便于在许多应⽤场景的开 发,同时也能提⾼开发效率。Redis的全程是REmoteDictionaryServer,它主要提供了5种数据结 构:字符串(string)、哈希(hash)、列表(list)、集合(set)、有序集合(orderedset/ zet),同时在字符串的基础之上演变出了位图(Bitmaps)和HyperLogLog两种神奇的”数据结 构“,并且随着LBS(LocationBasedService,基于位置服务)的不断发展,Redis3.2.版本种加⼊ 有关GEO(地理信息定位)的功能,总之在这些数据结构的帮助下,开发者可以开发出各种应⽤。
3. 丰富的功能
除了5种数据结构,Redis还提供了许多额外的功能:
- 提供了键过期功能,可以⽤来实现缓存
- 提供了发布订阅功能,可以⽤来实现消息系统。
- ⽀持Lua脚本功能,可以利⽤Lua创造出新的Redis命令。
- 提供了简单的事务功能,能在⼀定程度上保证事务特性。
- 提供了流⽔线(Pipeline)功能,这样客⼾端能将⼀批命令⼀次性传到Redis,减少了⽹络的开 销。
4. 简单稳定
Redis 的简单主要表现在三个⽅⾯。⾸先,Redis的源码很少,早期版本的代码只有2万⾏左右, 3.0 版本以后由于添加了集群特性,代码增⾄5万⾏左右,相对于很多NoSQL数据库来说代码量相对 要少很多,也就意味着普通的开发和运维⼈员完全可以“吃透”它。其次,Redis使⽤单线程模型, 这样不仅使得Redis服务端处理模型变得简单,⽽且也使得客⼾端开发变得简单。最后,Redis不需要 依赖于操作系统中的类库,Redis⾃⼰实现了 事件处理的相关功能。
但与简单相对的是Redis具备相当的稳定性,在⼤量使⽤过程中,很少出现因为Redis⾃⾝BUG ⽽导致宕掉的情况。
5. 客⼾端语⾔多
Redis 提供了简单的TCP通信协议,很多编程语⾔可以很⽅便地接⼊到Redis,并且由于Redis受 到社区和各⼤公司的⼴泛认可,所以⽀持Redis的客⼾端语⾔也⾮常多,⼏乎涵盖了主流的编程语⾔,例如C、C++、Java、PHP、Python、NodeJS等。
6. 持久化(Persistence)
通常看,将数据放在内存中是不安全的,⼀旦发⽣断电或者机器故障,重要的数据可能就会丢 失,因此Redis提供了两种持久化⽅式:RDB和AOF,即可以⽤两种策略将内存的数据保存到硬盘中 ,这样就保证了数据的可持久性。
7. 主从复制(Replication)
Redis 提供了复制功能,实现了多个相同数据的Redis副本(Replica)(如图1-2所⽰),复制 功能是分布式Redis的基础。
8. ⾼可⽤(HighAvailability)和分布式(Distributed)
Redis 提供了⾼可⽤实现的Redis哨兵(RedisSentinel),能够保证Redis结点的故障发现和故 障⾃动转移。也提供了Redis集群(RedisCluster),是真正的分布式实现,提供了⾼可⽤、读写和 容量的扩展性。
三、Redis 使⽤场景
3.1、Redis 可以做什么
1. 缓存(Cache)
缓存机制⼏乎在所有⼤型⽹站都有使⽤,合理地使⽤缓存不仅可以加速数据的访问速度,⽽且能 够有效地降低后端数据源的压⼒。Redis提供了键值过期时间设置,并且也提供了灵活控制最⼤内存和 内存溢出后的淘汰策略。可以这么说,⼀个合理的缓存设计能够为⼀个⽹站的稳定保驾护航。
2. 排⾏榜系统
排⾏榜系统⼏乎存在于所有的⽹站,例如按照热度排名的排⾏榜,按照发布时间的排⾏榜,按照 各种复杂维度计算出的排⾏榜,Redis提供了列表和有序集合的结构,合理地使⽤这些数据结构可以很 ⽅便地构建各种排⾏榜系统。
3. 计数器应⽤
计数器在⽹站中的作⽤⾄关重要,例如视频⽹站有播放数、电商⽹站有浏览数,为了保证数据的 实时性,每⼀次播放和浏览都要做加1的操作,如果并发量很⼤对于传统关系型数据的性能是⼀种挑 战。Redis天然⽀持计数功能⽽且计数的性能也⾮常好,可以说是计数器系统的重要选择。
4. 社交⽹络
赞/踩、粉丝、共同好友/喜好、推送、下拉刷新等是社交⽹站的必备功能,由于社交⽹站访问量 通常⽐较⼤,⽽且传统的关系型数据不太合适保存这种类型的数据,Redis提供的数据结构可以相对⽐ 较容易地实现这些功能。
5. 消息队列系统
消息队列系统可以说是⼀个⼤型⽹站的必备基础组件,因为其具有业务解耦、⾮实时业务削峰等 特性。Redis提供了发布订阅功能和阻塞队列的功能,虽然和专业的消息队列⽐还不够⾜够强⼤,但是 对于⼀般的消息队列功能基本可以满⾜。
3.2、Redis 不可以做什么
实际上和任何⼀⻔技术⼀样,每个技术都有⾃⼰的应⽤场景和边界,也就是说Redis并不是万⾦ 油,有很多合适它解决的问题,但是也有很多不合适它解决的问题。可以站在数据规模和数据冷热的⻆度来进⾏分析。
站在数据规模的⻆度看,数据可以分为⼤规模数据和⼩规模数据,我们知道Redis的数据是存放 在内存中的,虽然现在内存已经⾜够便宜,但是如果数据量⾮常⼤,例如每天有⼏亿的⽤⼾⾏为数 据,使⽤Redis来存储的话,基本上是个⽆底洞,经济成本相当⾼。
站在数据冷热的⻆度,数据分为热数据和冷数据,热数据通常是指需要频繁操作的数据,反之为 冷数据,例如对于视频⽹站来说,视频基本信息基本上在各个业务线都是经常要操作的数据,⽽⽤⼾ 的观看记录不⼀定是经常需要访问的数据,这⾥暂且不讨论两者数据规模的差异,单纯站在数据冷热 的⻆度上看,视频信息属于热数据,⽤⼾观看记录属于冷数据。如果将这些冷数据放在Redis上,基 本上是对于内存的⼀种浪费,但是对于⼀些热数据可以放在Redis中加速读写,也可以减轻后端存储 的负载,可以说是事半功倍。
3.3、安装并启动Redis
Redis的官⽅并不⽀持微软的Windows操作系统,因为Redis的许多特性都是和操作系统相 关的,所以⽀持Windows会增加维护成本,⽽且更重要的是⼤部分公司都在使⽤Linux操作 系统,⽽Redis在Linux操作系统上的表现已经得到实践的证明。当然Redis作为⼀款优秀 的开源技术,还是吸引到微软公司的注意,微软公司的开源技术组在Github上维护了⼀个 Redis 分⽀:https://github.com/MSOpenTech/redis。不过我们还是强烈建议⼤家在Linux 上使⽤Redis。
接下来,选择在Linux上安装Redis.
Centos 安装 Redis
Ubuntu 安装 redis
3.4、Redis 重要⽂件及作⽤
启动/停⽌命令或脚本
/usr/bin/redis-benchmark
/usr/bin/redis-check-aof -> /usr/bin/redis-server
/usr/bin/redis-check-rdb -> /usr/bin/redis-server
/usr/bin/redis-cli
/usr/bin/redis-sentinel -> /usr/bin/redis-server
/usr/bin/redis-server
/usr/libexec/redis-shutdown
redis-server 是 Redis 服务器程序,其余的⼏个例如:redis-check-aof、redis-check-rdb、redis sentinel 也都是redis-server 的软链接。redis-check-aof是修复AOF⽂件⽤的⼯具,同理redis check-rdb 是修复RDB⽂件的⼯具,redis-sentinel是Redis哨兵程序。
redis-benchmark ⽤于对Redis做性能基准测试的⼯具。
redis-shutdown 是⽤于停⽌Redis的专⽤脚本。
配置⽂件
/etc/redis-sentinel.conf
/etc/redis.conf
/etc/redis.conf 是 Redis 服务器的配置⽂件。/etc/redis-sentinel.conf是RedisSentinel的配置⽂件。
持久化⽂件存储⽬录
/var/lib/redis/
Redis 持久化⽣产的RDB和AOF⽂件都默认⽣成于该⽬录下。
⽇志⽂件⽬录
/var/log/redis/
/var/log/redis/ ⽬录下会保存Redis运⾏期间⽣产的⽇志⽂件,默认按照天进⾏分割,并且会将 ⼀定⽇期的⽇⼦⽂件使⽤gzip格式压缩保存。可以使⽤任意⽂本编辑器打开。
3.5、Redis 命令⾏客⼾端
redis-cli 可以使⽤两种⽅式连接Redis服务器。
- 第⼀种是交互式⽅式:通过redis-cli-h{host}-p{port}的⽅式连接到Redis服务,后续所有 的操作都是通过交互式的⽅式实现,不需要再执⾏redis-cli了,例如:
[root@host ~]# redis-cli -h 127.0.0.1 -p 6379
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> set key hello
OK
127.0.0.1:6379> get key
"hello"
- 第⼆种是命令⽅式:⽤redis-cli-h{host}-p{port}{command}就可以直接得到命令的返回 结果,例如:
[root@host ~]# redis-cli -h 127.0.0.1 -p 6379 ping
PONG
[root@host ~]# redis-cli -h 127.0.0.1 -p 6379 set key hello
OK
[root@host ~]# redis-cli -h 127.0.0.1 -p 6379 get key
"hello"
由于连接的Redis服务位于127.0.0.1,端⼝也使⽤的是默认的6379 端⼝,所以可以省略-h{host}-p{port}。
图1-3Redis客⼾端与服务端的交互过程