当前位置:首页 > 数码 > Redis数据持久化保障-了解保证数据不丢失的可靠机制 (redis数据类型)

Redis数据持久化保障-了解保证数据不丢失的可靠机制 (redis数据类型)

admin5个月前 (05-06)数码40

Redis 是一个内存数据库,这意味着它将数据存储在服务器的内存中。如果服务器崩溃或重启,内存中的数据将丢失。

因此,为了防止数据丢失,Redis 提供了两种主要机制:

Redis数据持久化保障
  1. 持久化
  2. 集群运行

持久化

持久化是指将数据从内存中保存到持久存储介质(如硬盘)的过程。这样,当程序重新启动或系统崩溃时,数据可以从持久存储介质中恢复。

Redis 4.0 之后支持以下三种持久化方案:

  1. RDB 持久化:创建一个数据集的快照,并将其写入磁盘文件。
  2. AOF 持久化:将每个写命令追加到一个日志文件中,在重新启动时将这些命令重新执行。
  3. 混合持久化:结合 RDB 和 AOF 的优点。定期执行 RDB 快照,并在 RDB 之间的间隔内使用 AOF。

集群运行

集群运行涉及将 Redis 数据分布在多个服务器上。这样一来,即使一台服务器出现故障,数据仍然可以从其他服务器访问。

Redis 提供了三种集群运行方式:

  1. 主从复制:一个主节点将数据复制到多个从节点。当主节点出现故障时,一个从节点可以被提升为主节点。
  2. 哨兵模式:一种自动故障恢复机制,它监视 Redis 服务器并自动执行主从切换。
  3. Redis Cluster:一种分布式 Redis 部署,其中数据在多个主节点之间分片。它提供了容错和可扩展性。

总结

Redis 保证数据不丢失的主要手段有两个:持久化和集群运行。持久化有三种实现方式:RDB、AOF 和混合持久化;而集群运行包含三种实现方式:主从复制、哨兵模式和 Redis Cluster。

通过结合持久化和集群运行,可以确保 Redis 数据即使在服务器故障或系统崩溃的情况下也能保持安全。


面试中问到Redis持久化的原理,本篇在做详细解答

我们知道redis是一个高效的分布式内存数据库 ,由于是操作内存所以性能非常之快,通常用它来做分布式缓存,用来提高微服务的高性能,但是因为是内存操作,所以当出现服务器故障,断电等情况就会造成内存数据丢失 ,不可恢复,因此redis 引入了持久化机制来将内存数据写入磁盘,从而保障了Redis的数据不被丢失。

Redis有两种持久化的方式,一种是RDB,另外种是AOF。

RDB是将Redis内存中数据的快照存储在磁盘内,是Redis的默认持久化方案。

RDB持久化默认有三种策略

可在中配置,会以一段时间内达到指定修改的次数为规则来触发快照操作,快照文件名为。每当Redis服务重启的时候都会从该文件中把数据加载到内存中。

在60秒内有次操作即触发RDB持久化。

没有满足第一种条件时,在900秒内有1次操作即触发RDB持久化。

没有满足第二种条件时,在300秒内有10次操作即触发RDB持久化。

RDB持久化除了可以根据配置中的策略来触发外,还可以使用save和bgsave命令手动来触发。这两个命令的区别在于save会阻塞服务器进程。在执行save命令的过程中,服务器不能处理任何请求,但是bgsave(background save,后台保存)命令会通过一个子进程在后台处理数据RDB持久化。本质上save和bgsave调用的都是rdbSave函数,所以Redis不允许save和bgsave命令同时执行,当然这也是为了避免RDB文件数据出现不一致性的问题。

每次都是一个大文件,备份写入IO操作笔记大,很容易耗时,影响进程资源使用。

如果最近一次进程崩溃,那么最近一次数据备份后的数据就被丢失。

文件直接就可以当冷备使用

AOF(Append Only File)以独立日志的方式记录每次的写命令,可以很好地解决了数据持久化的实时性。系统重启时可以重新执行AOF文件中的命令来恢复数据。AOF会先把命令追加在AOF缓冲区,然后根据对应策略写入硬盘。

AOF的实现流程有三个步骤

步骤一

把命令追加到AOF缓冲区,

步骤二

将缓冲区的内容写入程序缓冲区

步骤三

将程序缓冲区的内容写入文件

当AOF持久化功能处于开启状态时,服务器每执行完一个命令就会将命令以协议格式追加写入redisServer结构体的aof_buf缓冲区。而在服务重启的时候会把AOF文件加载到缓冲区中。

AOF有 三种触发机制

·always:每次发生数据变更都会被立即记录到磁盘,性能较差,但数据完整性比较好。

·everysec:每秒钟将aof_buf缓冲区的内容写入AOF文件,如果宕机,就会有1秒内的数据丢失。

·no:将数据同步操作交给操作系统来处理,性能最好,但是数据可靠性最差。在配置文件中设置appendonly=yes后,若没有指定apendfsync,默认会使用everysec选项。

写入指令随着时间的推移,记录了很多重复的指令,导致数据量非常大。

RDB优先级高于AOF

RDB小,AOF较大

RDB慢,AOF快

RDB快,AOF慢

Redis持久化的几种方式——深入解析RDB

Redis 持久化也是 Redis?和 Memcached 的主要区别之一,因为 Memcached?是不具备持久化功能的。 1.持久化的几种方式Redis 持久化拥有以下三种方式:快照方式(RDB, Redis DataBase)将某一个时刻的内存数据,以二进制的方式写入磁盘;文件追加方式(AOF, Append Only File),记录所有的操作命令,并以文本的形式追加到文件中;混合持久化方式,Redis 4.0 之后新增的方式,混合持久化是结合了 RDB 和 AOF 的优点,在写入的时候,先把当前的数据以 RDB 的形式写入文件的开头,再将后续的操作命令以 AOF 的格式存入文件,这样既能保证?Redis?重启时的速度,又能简单数据丢失的风险。 因为每种持久化方案,都有特定的使用场景,让我们先从 RDB?持久化说起吧。 简介RDB(Redis DataBase)是将某一个时刻的内存快照(Snapshot),以二进制的方式写入磁盘的过程。 3.持久化触发RDB?的持久化触发方式有两类:一类是手动触发,另一类是自动触发。 1)手动触发手动触发持久化的操作有两个: save?和 bgsave,它们主要区别体现在:是否阻塞?Redis?主线程的执行。 ① save?命令在客户端中执行 save?命令,就会触发 Redis 的持久化,但同时也是使 Redis 处于阻塞状态,直到 RDB?持久化完成,才会响应其他客户端发来的命令,所以在生产环境一定要慎用。 save?命令使用如下:从图片可以看出,当执行完?save?命令之后,持久化文件 ?的修改时间就变了,这就表示 save?成功的触发了?RDB 持久化。 save?命令执行流程,如下图所示:② bgsave?命令bgsave(background save)既后台保存的意思, 它和 save?命令最大的区别就是 bgsave?会 fork() 一个子进程来执行持久化,整个过程中只有在 fork() 子进程时有短暂的阻塞,当子进程被创建之后,Redis 的主进程就可以响应其他客户端的请求了,相对于整个流程都阻塞的?save?命令来说,显然?bgsave?命令更适合我们使用。 bgsave?命令使用,如下图所示:bgsave?执行流程,如下图所示:2)自动触发说完了?RDB?的手动触发方式,下面来看如何自动触发?RDB?持久化?RDB?自动持久化主要来源于以下几种情况。 ① save m nsave m n?是指在 m 秒内,如果有 n 个键发生改变,则自动触发持久化。 参数 m?和?n?可以在?Redis?的配置文件中找到,例如,save 60 1?则表明在 60 秒内,至少有一个键发生改变,就会触发?RDB?持久化。 自动触发持久化,本质是?Redis?通过判断,如果满足设置的触发条件,自动执行一次?bgsave?命令。 注意:当设置多个 save m n 命令时,满足任意一个条件都会触发持久化。 例如,我们设置了以下两个 save m n 命令:save 60 10save 600 1当 60s 内如果有 10 次 Redis 键值发生改变,就会触发持久化;如果 60s 内 Redis 的键值改变次数少于 10 次,那么 Redis 就会判断 600s 内,Redis 的键值是否至少被修改了一次,如果满足则会触发持久化。 ② flushallflushall?命令用于清空 Redis 数据库,在生产环境下一定慎用,当 Redis 执行了 flushall?命令之后,则会触发自动持久化,把?RDB 文件清空。 执行结果如下图所示:③ 主从同步触发在 Redis 主从复制中,当从节点执行全量复制操作时,主节点会执行 bgsave?命令,并将 RDB 文件发送给从节点,该过程会自动触发 Redis 持久化。 4.配置说明合理的设置 RDB 的配置,可以保障 Redis 高效且稳定的运行,下面一起来看 RDB 的配置项都有哪些?RDB 配置参数可以在? Redis 的配置文件中找见,具体内容如下:# RDB 保存的条件save 900 1save 300 10save 60 # bgsave 失败之后,是否停止持久化数据到磁盘,yes 表示停止持久化,no 表示忽略错误继续写文件。 stop-writes-on-bgsave-error yes# RDB 文件压缩rdbcompression yes# 写入文件和读取文件时是否开启 RDB 文件检查,检查是否有无损坏,如果在启动是检查发现损坏,则停止启动。 rdbchecksum yes# RDB 文件名dbfilename # RDB 文件目录dir ./其中比较重要的参数如下列表:① save 参数它是用来配置触发 RDB 持久化条件的参数,满足保存条件时将会把数据持久化到硬盘。 默认配置说明如下:save 900 1:表示 900 秒内如果至少有 1 个 key 值变化,则把数据持久化到硬盘;save 300 10:表示 300 秒内如果至少有 10 个 key 值变化,则把数据持久化到硬盘;save 60 :表示 60 秒内如果至少有 个 key 值变化,则把数据持久化到硬盘。 ② rdbcompression 参数它的默认值是 yes?表示开启 RDB 文件压缩,Redis 会采用 LZF 算法进行压缩。 如果不想消耗 CPU 性能来进行文件压缩的话,可以设置为关闭此功能,这样的缺点是需要更多的磁盘空间来保存文件。 ③ rdbchecksum 参数它的默认值为 yes?表示写入文件和读取文件时是否开启 RDB 文件检查,检查是否有无损坏,如果在启动是检查发现损坏,则停止启动。 5.配置查询Redis 中可以使用命令查询当前配置参数。 查询命令的格式为:config get xxx,例如,想要获取 RDB 文件的存储名称设置,可以使用 config get dbfilename,执行效果如下图所示:查询 RDB 的文件目录,可使用命令 config get dir,执行效果如下图所示:6.配置设置设置 RDB 的配置,可以通过以下两种方式:手动修改 Redis 配置文件;使用命令行设置,例如,使用?config set dir /usr/data?就是用于修改 RDB 的存储目录。 注意:手动修改 Redis 配置文件的方式是全局生效的,即重启?Redis?服务器设置参数也不会丢失,而使用命令修改的方式,在 Redis 重启之后就会丢失。 但手动修改?Redis?配置文件,想要立即生效需要重启?Redis?服务器,而命令的方式则不需要重启?Redis?服务器。 小贴士:Redis?的配置文件位于?Redis?安装目录的根路径下,默认名称为 。 文件恢复当?Redis?服务器启动时,如果 Redis 根目录存在?RDB?文件 ,Redis 就会自动加载 RDB 文件恢复持久化数据。 如果根目录没有? 文件,请先将 ?文件移动到 Redis 的根目录。 验证?RDB?文件是否被加载Redis?在启动时有日志信息,会显示是否加载了?RDB?文件,我们执行 Redis 启动命令:src/redis-server ,如下图所示:从日志上可以看出, Redis 服务在启动时已经正常加载了 RDB 文件。 小贴士:Redis 服务器在载入 RDB 文件期间,会一直处于阻塞状态,直到载入工作完成为止。 优缺点1)RDB 优点RDB 的内容为二进制的数据,占用内存更小,更紧凑,更适合做为备份文件;RDB 对灾难恢复非常有用,它是一个紧凑的文件,可以更快的传输到远程服务器进行 Redis 服务恢复;RDB 可以更大程度的提高 Redis 的运行速度,因为每次持久化时 Redis 主进程都会 fork() 一个子进程,进行数据持久化到磁盘,Redis 主进程并不会执行磁盘 I/O 等操作;与 AOF 格式的文件相比,RDB 文件可以更快的重启。 2)RDB 缺点因为 RDB 只能保存某个时间间隔的数据,如果中途 Redis 服务被意外终止了,则会丢失一段时间内的 Redis 数据;RDB 需要经常 fork() 才能使用子进程将其持久化在磁盘上。 如果数据集很大,fork() 可能很耗时,并且如果数据集很大且 CPU 性能不佳,则可能导致 Redis 停止为客户端服务几毫秒甚至一秒钟。 9.禁用持久化禁用持久化可以提高 Redis 的执行效率,如果对数据丢失不敏感的情况下,可以在连接客户端的情况下,执行 config set save ?命令即可禁用 Redis 的持久化,如下图所示:10.小结通过本文我们可以得知,RDB?持久化分为手动触发和自动触发两种方式,它的优点是存储文件小,Redis?启动时恢复数据比较快,缺点是有丢失数据的风险。 RDB?文件的恢复也很简单,只需要把?RDB?文件放到?Redis?的根目录,在?Redis?启动时就会自动加载并恢复数据。 11.思考题如果?Redis?服务器?CPU?占用过高,可能是什么原因导致的?欢迎各位在评论区,写下你们的答案。 12.参考&鸣谢持久化的几种方式——深入解析RDB标签:默认使用命令阻塞复数启动获取日志信息red小结

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: Redis

“Redis数据持久化保障-了解保证数据不丢失的可靠机制 (redis数据类型)” 的相关文章

Redis数据删除后-内存占用为何居高不下 (redis数据类型)

Redis数据删除后-内存占用为何居高不下 (redis数据类型)

作为面试经验丰富的开发人员,肯定会遇到过这样的问题:做了数据删除操作,为什么使用 top 命令时,仍然显示 Redis 占用了大量内存? 答案 这是因为当数据删除后,Re...

一站式-满足您的所有-解决方案-需求-Redis-Redis (一站式满足您的资金需求让您用款无忧)

一站式-满足您的所有-解决方案-需求-Redis-Redis (一站式满足您的资金需求让您用款无忧)

Introduction Redis is an efficient in-memory database designed to store data invarious formats, s...

Redis中分布式锁的防死锁机制 (redis中文网)

Redis中分布式锁的防死锁机制 (redis中文网)

分布式锁在分布式系统中是一种常见的需求。它用于防止对共享资源的并发访问,确保数据一致性和可靠性。在 Redis 中实现分布式锁可以通过使用 SETNX(SET if Not eXists)命令来尝...

排查与处置指南-Redis大Key危害 (排查与处置指的是什么)

排查与处置指南-Redis大Key危害 (排查与处置指的是什么)

这是一位同窗往年秋招参与得物一面遇到的疑问,完整面经如下: 这个疑问在面试中还是比拟容易遇到的,尤其是在调查性能优化相关常识点的时刻。 通常状况下,问了bigkey(大Key)还会继续...

Redis-使用哈希槽而非一致性哈希的原因 (redis淘汰策略有哪些)

Redis-使用哈希槽而非一致性哈希的原因 (redis淘汰策略有哪些)

引言 在分布式系统中,数据分片和负载均衡是至关重要的。哈希槽和一致性哈希两种方法都可以实现这些目标,但它们各有优缺点。本文将讨论为什么在某些情况下使用哈希槽而不是一致性哈希。 哈希槽 哈希...

成功多规则限流的思索与通常-Redis (成功的规则)

成功多规则限流的思索与通常-Redis (成功的规则)

市面上很多引见如何成功限流的,然而大局部都有一个缺陷,就是只能成功繁多的限流,比如1分钟访问1次或许60分钟访问10次这种,然而假构想一个接口两种规则都须要满足呢,咱们的名目又是散布式名目,应该如何处...

Redis-全面了解数据耐久性和复原机制-深度解析-耐久化 (redis淘汰策略有哪些)

Redis-全面了解数据耐久性和复原机制-深度解析-耐久化 (redis淘汰策略有哪些)

我们都知道在关于的开发或许面试的环节中,很容易就会遇到这个关于Redis耐久化的疑问,而我们在面试的时刻,经常会有小同伴只能说出这个Redis耐久化的两种形式,后续或许还会对比一些区别,然而关于怎...

解锁你的海量数据摸索之旅-Redis-全文搜查-的弱小新配置 (解锁海量任务)

解锁你的海量数据摸索之旅-Redis-全文搜查-的弱小新配置 (解锁海量任务)

在2021年我就了解到earch这个名目,并曾经把它用于我的开源名目newbee-mall-pro中。 就我的经常使用体验来说,便捷场景下,用来平替Elasticsearch的经常使用场景曾...