Redis数据持久化保障-了解保证数据不丢失的可靠机制 (redis数据类型)
Redis 是一个内存数据库,这意味着它将数据存储在服务器的内存中。如果服务器崩溃或重启,内存中的数据将丢失。
因此,为了防止数据丢失,Redis 提供了两种主要机制:
- 持久化
- 集群运行
持久化
持久化是指将数据从内存中保存到持久存储介质(如硬盘)的过程。这样,当程序重新启动或系统崩溃时,数据可以从持久存储介质中恢复。
Redis 4.0 之后支持以下三种持久化方案:
- RDB 持久化:创建一个数据集的快照,并将其写入磁盘文件。
- AOF 持久化:将每个写命令追加到一个日志文件中,在重新启动时将这些命令重新执行。
- 混合持久化:结合 RDB 和 AOF 的优点。定期执行 RDB 快照,并在 RDB 之间的间隔内使用 AOF。
集群运行
集群运行涉及将 Redis 数据分布在多个服务器上。这样一来,即使一台服务器出现故障,数据仍然可以从其他服务器访问。
Redis 提供了三种集群运行方式:
- 主从复制:一个主节点将数据复制到多个从节点。当主节点出现故障时,一个从节点可以被提升为主节点。
- 哨兵模式:一种自动故障恢复机制,它监视 Redis 服务器并自动执行主从切换。
- Redis Cluster:一种分布式 Redis 部署,其中数据在多个主节点之间分片。它提供了容错和可扩展性。
总结
Redis 保证数据不丢失的主要手段有两个:持久化和集群运行。持久化有三种实现方式:RDB、AOF 和混合持久化;而集群运行包含三种实现方式:主从复制、哨兵模式和 Redis Cluster。
通过结合持久化和集群运行,可以确保 Redis 数据即使在服务器故障或系统崩溃的情况下也能保持安全。
面试中问到Redis持久化的原理,本篇在做详细解答
我们知道redis是一个高效的分布式内存数据库 ,由于是操作内存所以性能非常之快,通常用它来做分布式缓存,用来提高微服务的高性能,但是因为是内存操作,所以当出现服务器故障,断电等情况就会造成内存数据丢失 ,不可恢复,因此redis 引入了持久化机制来将内存数据写入磁盘,从而保障了Redis的数据不被丢失。
Redis有两种持久化的方式,一种是RDB,另外种是AOF。
RDB是将Redis内存中数据的快照存储在磁盘内,是Redis的默认持久化方案。
RDB持久化默认有三种策略
可在中配置,会以一段时间内达到指定修改的次数为规则来触发快照操作,快照文件名为。每当Redis服务重启的时候都会从该文件中把数据加载到内存中。
在60秒内有次操作即触发RDB持久化。
没有满足第一种条件时,在900秒内有1次操作即触发RDB持久化。
没有满足第二种条件时,在300秒内有10次操作即触发RDB持久化。
RDB持久化除了可以根据配置中的策略来触发外,还可以使用save和bgsave命令手动来触发。这两个命令的区别在于save会阻塞服务器进程。在执行save命令的过程中,服务器不能处理任何请求,但是bgsave(background save,后台保存)命令会通过一个子进程在后台处理数据RDB持久化。本质上save和bgsave调用的都是rdbSave函数,所以Redis不允许save和bgsave命令同时执行,当然这也是为了避免RDB文件数据出现不一致性的问题。
每次都是一个大文件,备份写入IO操作笔记大,很容易耗时,影响进程资源使用。
如果最近一次进程崩溃,那么最近一次数据备份后的数据就被丢失。
文件直接就可以当冷备使用
AOF(Append Only File)以独立日志的方式记录每次的写命令,可以很好地解决了数据持久化的实时性。系统重启时可以重新执行AOF文件中的命令来恢复数据。AOF会先把命令追加在AOF缓冲区,然后根据对应策略写入硬盘。
AOF的实现流程有三个步骤
步骤一
把命令追加到AOF缓冲区,
步骤二
将缓冲区的内容写入程序缓冲区
步骤三
将程序缓冲区的内容写入文件
当AOF持久化功能处于开启状态时,服务器每执行完一个命令就会将命令以协议格式追加写入redisServer结构体的aof_buf缓冲区。而在服务重启的时候会把AOF文件加载到缓冲区中。
AOF有 三种触发机制
·always:每次发生数据变更都会被立即记录到磁盘,性能较差,但数据完整性比较好。
·everysec:每秒钟将aof_buf缓冲区的内容写入AOF文件,如果宕机,就会有1秒内的数据丢失。
·no:将数据同步操作交给操作系统来处理,性能最好,但是数据可靠性最差。在配置文件中设置appendonly=yes后,若没有指定apendfsync,默认会使用everysec选项。
写入指令随着时间的推移,记录了很多重复的指令,导致数据量非常大。
RDB优先级高于AOF
RDB小,AOF较大
RDB慢,AOF快
RDB快,AOF慢
Redis持久化的几种方式——深入解析RDB
Redis 持久化也是 Redis?和 Memcached 的主要区别之一,因为 Memcached?是不具备持久化功能的。 1.持久化的几种方式Redis 持久化拥有以下三种方式:快照方式(RDB, Redis DataBase)将某一个时刻的内存数据,以二进制的方式写入磁盘;文件追加方式(AOF, Append Only File),记录所有的操作命令,并以文本的形式追加到文件中;混合持久化方式,Redis 4.0 之后新增的方式,混合持久化是结合了 RDB 和 AOF 的优点,在写入的时候,先把当前的数据以 RDB 的形式写入文件的开头,再将后续的操作命令以 AOF 的格式存入文件,这样既能保证?Redis?重启时的速度,又能简单数据丢失的风险。 因为每种持久化方案,都有特定的使用场景,让我们先从 RDB?持久化说起吧。 简介RDB(Redis DataBase)是将某一个时刻的内存快照(Snapshot),以二进制的方式写入磁盘的过程。 3.持久化触发RDB?的持久化触发方式有两类:一类是手动触发,另一类是自动触发。 1)手动触发手动触发持久化的操作有两个: save?和 bgsave,它们主要区别体现在:是否阻塞?Redis?主线程的执行。 ① save?命令在客户端中执行 save?命令,就会触发 Redis 的持久化,但同时也是使 Redis 处于阻塞状态,直到 RDB?持久化完成,才会响应其他客户端发来的命令,所以在生产环境一定要慎用。 save?命令使用如下:从图片可以看出,当执行完?save?命令之后,持久化文件 ?的修改时间就变了,这就表示 save?成功的触发了?RDB 持久化。 save?命令执行流程,如下图所示:② bgsave?命令bgsave(background save)既后台保存的意思, 它和 save?命令最大的区别就是 bgsave?会 fork() 一个子进程来执行持久化,整个过程中只有在 fork() 子进程时有短暂的阻塞,当子进程被创建之后,Redis 的主进程就可以响应其他客户端的请求了,相对于整个流程都阻塞的?save?命令来说,显然?bgsave?命令更适合我们使用。 bgsave?命令使用,如下图所示:bgsave?执行流程,如下图所示:2)自动触发说完了?RDB?的手动触发方式,下面来看如何自动触发?RDB?持久化?RDB?自动持久化主要来源于以下几种情况。 ① save m nsave m n?是指在 m 秒内,如果有 n 个键发生改变,则自动触发持久化。 参数 m?和?n?可以在?Redis?的配置文件中找到,例如,save 60 1?则表明在 60 秒内,至少有一个键发生改变,就会触发?RDB?持久化。 自动触发持久化,本质是?Redis?通过判断,如果满足设置的触发条件,自动执行一次?bgsave?命令。 注意:当设置多个 save m n 命令时,满足任意一个条件都会触发持久化。 例如,我们设置了以下两个 save m n 命令:save 60 10save 600 1当 60s 内如果有 10 次 Redis 键值发生改变,就会触发持久化;如果 60s 内 Redis 的键值改变次数少于 10 次,那么 Redis 就会判断 600s 内,Redis 的键值是否至少被修改了一次,如果满足则会触发持久化。 ② flushallflushall?命令用于清空 Redis 数据库,在生产环境下一定慎用,当 Redis 执行了 flushall?命令之后,则会触发自动持久化,把?RDB 文件清空。 执行结果如下图所示:③ 主从同步触发在 Redis 主从复制中,当从节点执行全量复制操作时,主节点会执行 bgsave?命令,并将 RDB 文件发送给从节点,该过程会自动触发 Redis 持久化。 4.配置说明合理的设置 RDB 的配置,可以保障 Redis 高效且稳定的运行,下面一起来看 RDB 的配置项都有哪些?RDB 配置参数可以在? Redis 的配置文件中找见,具体内容如下:# RDB 保存的条件save 900 1save 300 10save 60 # bgsave 失败之后,是否停止持久化数据到磁盘,yes 表示停止持久化,no 表示忽略错误继续写文件。 stop-writes-on-bgsave-error yes# RDB 文件压缩rdbcompression yes# 写入文件和读取文件时是否开启 RDB 文件检查,检查是否有无损坏,如果在启动是检查发现损坏,则停止启动。 rdbchecksum yes# RDB 文件名dbfilename # RDB 文件目录dir ./其中比较重要的参数如下列表:① save 参数它是用来配置触发 RDB 持久化条件的参数,满足保存条件时将会把数据持久化到硬盘。 默认配置说明如下:save 900 1:表示 900 秒内如果至少有 1 个 key 值变化,则把数据持久化到硬盘;save 300 10:表示 300 秒内如果至少有 10 个 key 值变化,则把数据持久化到硬盘;save 60 :表示 60 秒内如果至少有 个 key 值变化,则把数据持久化到硬盘。 ② rdbcompression 参数它的默认值是 yes?表示开启 RDB 文件压缩,Redis 会采用 LZF 算法进行压缩。 如果不想消耗 CPU 性能来进行文件压缩的话,可以设置为关闭此功能,这样的缺点是需要更多的磁盘空间来保存文件。 ③ rdbchecksum 参数它的默认值为 yes?表示写入文件和读取文件时是否开启 RDB 文件检查,检查是否有无损坏,如果在启动是检查发现损坏,则停止启动。 5.配置查询Redis 中可以使用命令查询当前配置参数。 查询命令的格式为:config get xxx,例如,想要获取 RDB 文件的存储名称设置,可以使用 config get dbfilename,执行效果如下图所示:查询 RDB 的文件目录,可使用命令 config get dir,执行效果如下图所示:6.配置设置设置 RDB 的配置,可以通过以下两种方式:手动修改 Redis 配置文件;使用命令行设置,例如,使用?config set dir /usr/data?就是用于修改 RDB 的存储目录。 注意:手动修改 Redis 配置文件的方式是全局生效的,即重启?Redis?服务器设置参数也不会丢失,而使用命令修改的方式,在 Redis 重启之后就会丢失。 但手动修改?Redis?配置文件,想要立即生效需要重启?Redis?服务器,而命令的方式则不需要重启?Redis?服务器。 小贴士:Redis?的配置文件位于?Redis?安装目录的根路径下,默认名称为 。 文件恢复当?Redis?服务器启动时,如果 Redis 根目录存在?RDB?文件 ,Redis 就会自动加载 RDB 文件恢复持久化数据。 如果根目录没有? 文件,请先将 ?文件移动到 Redis 的根目录。 验证?RDB?文件是否被加载Redis?在启动时有日志信息,会显示是否加载了?RDB?文件,我们执行 Redis 启动命令:src/redis-server ,如下图所示:从日志上可以看出, Redis 服务在启动时已经正常加载了 RDB 文件。 小贴士:Redis 服务器在载入 RDB 文件期间,会一直处于阻塞状态,直到载入工作完成为止。 优缺点1)RDB 优点RDB 的内容为二进制的数据,占用内存更小,更紧凑,更适合做为备份文件;RDB 对灾难恢复非常有用,它是一个紧凑的文件,可以更快的传输到远程服务器进行 Redis 服务恢复;RDB 可以更大程度的提高 Redis 的运行速度,因为每次持久化时 Redis 主进程都会 fork() 一个子进程,进行数据持久化到磁盘,Redis 主进程并不会执行磁盘 I/O 等操作;与 AOF 格式的文件相比,RDB 文件可以更快的重启。 2)RDB 缺点因为 RDB 只能保存某个时间间隔的数据,如果中途 Redis 服务被意外终止了,则会丢失一段时间内的 Redis 数据;RDB 需要经常 fork() 才能使用子进程将其持久化在磁盘上。 如果数据集很大,fork() 可能很耗时,并且如果数据集很大且 CPU 性能不佳,则可能导致 Redis 停止为客户端服务几毫秒甚至一秒钟。 9.禁用持久化禁用持久化可以提高 Redis 的执行效率,如果对数据丢失不敏感的情况下,可以在连接客户端的情况下,执行 config set save ?命令即可禁用 Redis 的持久化,如下图所示:10.小结通过本文我们可以得知,RDB?持久化分为手动触发和自动触发两种方式,它的优点是存储文件小,Redis?启动时恢复数据比较快,缺点是有丢失数据的风险。 RDB?文件的恢复也很简单,只需要把?RDB?文件放到?Redis?的根目录,在?Redis?启动时就会自动加载并恢复数据。 11.思考题如果?Redis?服务器?CPU?占用过高,可能是什么原因导致的?欢迎各位在评论区,写下你们的答案。 12.参考&鸣谢持久化的几种方式——深入解析RDB标签:默认使用命令阻塞复数启动获取日志信息red小结
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。