Redis这个内存回收,确实有点牛逼!!!(redis内存淘汰机制有哪些)

  本篇文章为你整理了Redis这个内存回收,确实有点牛逼!!!(redis内存淘汰机制有哪些)的详细内容,包含有redis把内存撑爆了 redis内存淘汰机制有哪些 redis的内存淘汰策论 redis内存用完了会怎么样 Redis这个内存回收,确实有点牛逼!!!,希望能帮助你了解 Redis这个内存回收,确实有点牛逼!!!。

  1. 过期 key 处理

  Redis 之所以性能强,最主要的原因就是基于内存存储。然而单节点的 Redis 其内存大小不宜过大,会影响持久化或主从同步性能。

  我们可以通过修改配置文件来设置 Redis 的最大内存:

  

maxmemory 1gb

 

  

 

  当内存使用达到上限时,就无法存储更多数据了。为了解决这个问题,Redis 提供了一些策略实现内存回收:

  先要了解的是:redis 是一个存储键值数据库系统,那它源码中是如何存储所有键值对的呢?

  Redis 本身是一个典型的 key-value 内存存储数据库,因此所有的 key、value 都保存在之前学习过的 Dict 结构中。不过在其 database 结构体中,有两个 Dict:一个用来记录 key-value;另一个用来记录 key-TTL。

  内部结构
 

  dict 是 hash 结构,用来存放所有的 键值对

  expires 也是 hash 结构,用来存放所有设置了 过期时间的 键值对,不过它的 value 值是过期时间

  这里有两个问题需要我们思考:

  Redis 是如何知道一个 key 是否过期呢?

  利用两个 Dict 分别记录 key-value 对及 key-ttl 对,是不是 TTL 到期就立即删除了呢?

  总结:Redis的过期删除策略就是:惰性删除和定期删除两种策略配合使用

  惰性删除:顾明思议并不是在 TTL 到期后就立刻删除,而是在访问一个 key 的时候,检查该 key 的存活时间,如果已经过期才执行删除。

  周期删除:顾明思议是通过一个定时任务,周期性的抽样部分过期的 key,然后执行删除。执行周期有两种:

  Redis 服务初始化函数 initServer () 中设置定时任务,按照 server.hz 的频率来执行过期 key 清理,模式为 SLOW

  Redis 的每个事件循环前会调用 beforeSleep () 函数,执行过期 key 清理,模式为 FAST

  SLOW 模式规则:

  执行频率受 server.hz 影响,默认为 10,即每秒执行 10 次,每个执行周期 100ms。

  执行清理耗时不超过一次执行周期的 25%. 默认 slow 模式耗时不超过 25ms

  逐个遍历 db,逐个遍历 db 中的 bucket,抽取 20 个 key 判断是否过期

  如果没达到时间上限(25ms)并且过期 key 比例大于 10%,再进行一次抽样,否则结束

  FAST 模式规则(过期 key 比例小于 10% 不执行 ):

  执行频率受 beforeSleep () 调用频率影响,但两次 FAST 模式间隔不低于 2ms

  执行清理耗时不超过 1ms

  逐个遍历 db,逐个遍历 db 中的 bucket,抽取 20 个 key 判断是否过期

  如果没达到时间上限(1ms)并且过期 key 比例大于 10%,再进行一次抽样,否则结束

  2内存淘汰策略

  ①、设置Redis最大内存

   在配置文件redis.conf 中,可以通过参数 maxmemory 来设定最大内存:

  

不设定该参数默认是无限制的,但是通常会设定其为物理内存的四分之三

 

  

 

  ②、设置内存淘汰方式

  当现有内存大于 maxmemory 时,便会触发redis主动淘汰内存方式,通过设置 maxmemory-policy

  有如下几种淘汰方式:

  volatile-lru:设置了过期时间的key使用LRU算法淘汰;

  allkeys-lru:所有key使用LRU算法淘汰;

  volatile-lfu:设置了过期时间的key使用LFU算法淘汰;

  allkeys-lfu:所有key使用LFU算法淘汰;

  volatile-random:设置了过期时间的key使用随机淘汰;

  allkeys-random:所有key使用随机淘汰;

  volatile-ttl:设置了过期时间的key根据过期时间淘汰,越早过期越早淘汰;

  noeviction:默认策略,当内存达到设置的最大值时,所有申请内存的操作都会报错(如set,lpush等),只读操作如get命令可以正常执行;

  比较容易混淆的有两个:

  ​ LRU(Least Recently Used),最少最近使用。用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。

  ​ LFU(Least Frequently Used),最少频率使用。会统计每个 key 的访问频率,值越小淘汰优先级越高。

  

* LRU、LFU和volatile-ttl都是近似随机算法;

 

  

 

  使用下面的参数maxmemory-policy配置淘汰策略:

  

#配置文件

 

  maxmemory-policy noeviction

  127.0.0.1:6379 config get maxmemory-policy

  1) "maxmemory-policy"

  2) "noeviction"

  127.0.0.1:6379 config set maxmemory-policy allkeys-random

  127.0.0.1:6379 config get maxmemory-policy

  1) "maxmemory-policy"

  2) "allkeys-random"

  

 

  Redis 的数据都会被封装为 RedisObject 结构:

  
 

  LFU 的访问次数之所以叫做逻辑访问次数,是因为并不是每次 key 被访问都计数,而是通过运算:

  生成 0~1 之间的随机数 R

  计算 (旧次数 * lfu_log_factor + 1),记录为 P

  如果 R P ,则计数器 + 1,且最大不超过 255

  访问次数会随时间衰减,距离上一次访问时间每隔 lfu_decay_time 分钟,计数器 -1

  
本文由传智教育博学谷教研团队发布。

  如果本文对您有帮助,欢迎关注和点赞;如果您有任何建议也可留言评论或私信,您的支持是我坚持创作的动力。

  转载请注明出处!

  以上就是Redis这个内存回收,确实有点牛逼!!!(redis内存淘汰机制有哪些)的详细内容,想要了解更多 Redis这个内存回收,确实有点牛逼!!!的内容,请持续关注盛行IT软件开发工作室。

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: