返回顶部
首页 > 资讯 > 数据库 >分析Redis中的字典、哈希算法和ReHash原理
  • 717
分享到

分析Redis中的字典、哈希算法和ReHash原理

2024-04-02 19:04:59 717人浏览 薄情痞子
摘要

本篇内容介绍了“分析Redis中的字典、哈希算法和ReHash原理”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有

本篇内容介绍了“分析Redis中的字典、哈希算法和ReHash原理”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

分析Redis中的字典、哈希算法和ReHash原理

Redis 中的字典被广泛用于实现Redis的各种功能,其中包括数据库和哈希键。

字典的底层实现为哈希表,每个字典带有两个哈希表,一个平时使用,另一个在进行rehash扩充空间时才使用。

字典的结构定义

typedef struct dict {
	
	// 类型特定函数
	dictType *type;
	
	// 私有数据
	void *privdata;
	
	// 哈希表,两个元素
	dictht ht[2]
	
	// rehash时记录的索引下标,当没有rehash时,值为-1
	int rehashidx;

} dict;

==在进行 rehash时,rehashidx每迁移一个索引的entry数据就会 + 1;==

其中,哈希表dictht 的结构定义为:

typedef struct dictht {
	
	// 哈希表数组
	dictEntry **table;
	
	// 哈希表大小
	unsigned long size;
	
	// 哈希表大小掩码,用于计算索引值
	unsigned long sizenask;
	
	// 该哈希表已有节点的数量
	unsigned long uesd;

} dictht;

其中,table是一个数组,数组的每一个元素指向 dictEntry 类型的指针,dictEntry 类型里保存着一个键值对。

在这里也可以看出哈希表的节点是链表相连来解决哈希冲突问题的,也就是链地址法。

哈希冲突与哈希算法

      为了实现从键到值的快速访问,Redis使用了哈希表来保存所有键值对。对应Redis设置的Key,而对应的并不是值本身,而是指向具体值的指针。使用哈希表的最大好处就是可以用O(1)的时间复杂度快速找到键值对。但既然是哈希表,那么必然会有着哈希冲突的问题。

哈希冲突即指的是,当两个key的哈希值和哈希桶计算对应关系时,正好落在了同一个哈希桶上。

Redis解决哈希冲突的方式是使用链式哈希,即拉链法。当多个元素指向同一个哈希桶时,在同一个哈希桶中采用链表来保存对应的数据,它们之间依次用指针连接。

哈希算法

当要将一个新的键值对添加到字典里面时,程序需要先根据键值对计算出哈希值和索引值,然后再根据索引值,将包含新键值对的哈希表节点放到哈希表数组的指定索引上面。

reHash 过程

      在哈希表中有个负载因子(load factor)来控制哈希表保存的键值对数量。而这就需要rehash(重新散列)操作来完成。其中,负载因子的计算公式为:

// 负载因子 = 哈希表已保存的节点数量 / 哈希表大小
load_factor = ht[0].used / ht[0].size

哈希表扩展与收缩的条件如下:

  • 服务器目前没有在执行 BGSAVE 命令或者 BGREWRITEAOF 命令,并且哈希表的负载因子大于等于1;

  • 服务器目前正在执行 BGSAVE 命令或者 BGREWRITEAOF 命令,并且哈希表的负载因子大于等于5;

上述的条件有一个满足,就会执行rehash的过程。

如果服务器正在执行BGSAVE  或者 BGREWRITEAOF时,Redis会创建当前服务器进程的子进程

rehash的过程大概分为三步:

  • 给哈希表2分配更大的空间,例如是当前哈希表1的两倍;

  • 把哈希表1中的数据重新映射并拷贝到哈希表2中;

  • 释放哈希表1的空间;

其中,第一步分配空间的大小是由当前的rehash操作类型 以及 当前哈希表的键值对数量决定的。

  • 当执行的是扩展操作,分配的空间大小 为第一个大于等于(哈希表的键值对数量 * 2) 的2^n 值;

    假设 当前的键值对数量为4,那么 4 * 2 = 8,因为8 刚好等于2^3,即刚好等于第一个等于2^n的值,所以扩展空间就为 8;

  • 如果执行的是收缩操作,分配的空间大小 为第一个大于等于(哈希表的键值对数量 ) 的2^n 值;

渐进式reHash

      当哈希表数量多时,如果一下子将数据都复制过去,那么就很有可能对服务器造成影响。所以Redis是分多次进行rehash的,也就是渐进式rehash。

      简单来说就是在第二步操作时,Redis仍然正常处理客户端请求,每处理一个请求时,从哈希表1中的第一个索引位置开始,顺带着将这个索引位置上所有的entries元素拷贝到哈希表2中;等下一次请求时,再顺带拷贝下一个索引位置的entries。

      这样就很巧妙地将一次性大量拷贝的开销,分摊到多次处理请求的过程中了,避免了耗时操作,保证了数据的快速访问。

rehash时期间的哈希表操作

      在进行 渐进式rehash操作时,字典的删除、查找、更新等操作会在两个哈希表中执行。例如要在字典中查找一个键的话,会先去原表中进行查询,如果找不到就会去新表查询。

      而字典的添加操作一律只会保存在新表中。

“分析Redis中的字典、哈希算法和ReHash原理”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

您可能感兴趣的文档:

--结束END--

本文标题: 分析Redis中的字典、哈希算法和ReHash原理

本文链接: https://lsjlt.com/news/62981.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 分析Redis中的字典、哈希算法和ReHash原理
    本篇内容介绍了“分析Redis中的字典、哈希算法和ReHash原理”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有...
    99+
    2024-04-02
  • 图解Java经典算法希尔排序的原理与实现
    目录希尔排序算法思想图解代码实现(Java)希尔排序 希尔排序时插入排序的一种,也称缩小增量排序,是直接插入排序的一种更高效的改进版本。希尔排序是非稳定排序算法。 算法思想 希尔排序...
    99+
    2024-04-02
  • Python实现希尔排序算法的原理与用法实例分析
    本文实例讲述了Python实现希尔排序算法的原理与用法。分享给大家供大家参考,具体如下: 希尔排序(Shell Sort)是插入排序的一种。也称缩小增量排序,是直接插入排序算法的一种更高效的改进版本。 希尔...
    99+
    2022-06-04
    希尔 算法 实例
  • Redis中LFU算法的深入分析
    前言 在Redis中的LRU算法文中说到,LRU有一个缺陷,在如下情况下: ~~~~~A~~~~~A~~~~~A~~~~A~~~~~A~~~~~A~~| ~~B~~B~~B~~B~~B~~B~~B~~B~...
    99+
    2024-04-02
  • 分布式缓存负载均衡的规则处理:虚拟节点对一致性哈希的改进 采用固定哈希算法平衡负载
    在大规模的缓存应用中,应运而生了分布式缓存系统。key-value如何均匀的分散到集群中?最常规的方式莫过于hash取模的方式。比如集群中可用机器适量为N,那么key值为K的的数据请求很简单的应该路由到ha...
    99+
    2024-04-02
  • golang中字典的序列化原理及方法
    IT行业相对于一般传统行业,发展更新速度更快,一旦停止了学习,很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习,精进自己的技术,尤其是初学者。今天编程网给大家整理了《golang中字典的序列化原...
    99+
    2024-04-04
  • js中A*寻路算法原理的示例分析
    这篇文章主要为大家展示了“js中A*寻路算法原理的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“js中A*寻路算法原理的示例分析”这篇文章吧。简易地图如...
    99+
    2024-04-02
  • 图解Java经典算法冒泡选择插入希尔排序的原理与实现
    目录一、冒泡排序1、基本介绍2、代码实现二、 选择排序1、基本介绍2、代码实现三、插入排序1、基本介绍2、代码实现四、希尔排序1、基本介绍2、代码实现(交换排序)3、代码实现(移位排...
    99+
    2024-04-02
  • 同一个文件在windows和linux下计算md5哈希不一致的原因及解决方法
    最近项目需要,需要对客户传过来的文件进行MD5校验,在实现的过程中前前后后遇到了若干问题,在这里总结一下。 md5的计算采用openssl实现,具体代码网上很多,这里不再赘述。需要注意的问题 1 读取文件内...
    99+
    2022-06-04
    解决方法 原因 文件
  • Python中字典和列表性能的对比分析
    本篇文章为大家展示了Python中字典和列表性能的对比分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Python列表和字典前面我们了解了 “大O表示法” 以及对不同的算法的评估,下面来讨论下 P...
    99+
    2023-06-15
  • Java中Redis回收算法LRU的示例分析
    这篇文章给大家分享的是有关Java中Redis回收算法LRU的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。如何通俗易懂的理解LRU算法?1.LRU是什么?LRU全称Least Recently Used...
    99+
    2023-06-20
  • redis中主从复制原理的的示例分析
    这篇文章将为大家详细讲解有关redis中主从复制原理的的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1.复制过程从节点执行 slaveof 命令。从节点只是保存...
    99+
    2024-04-02
  • 计算机网络中代理ip的原理分析
    这篇文章主要介绍计算机网络中代理ip的原理分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!尽管IP代理的使用人群还不算特别普遍,但已经有很多领域如爬虫、营销推广等都采用了IP代理。那你知道代理ip的原理是什么吗?代...
    99+
    2023-06-15
  • redis 设置生存和过期时间的原理分析
    目录在了解原理前 先来看使用方法原理过期键的判定Redis的过期键删除策略原理在了解原理前 先来看使用方法 通过EXPIRE命令或者PEXPIRE命令,客户端可以以秒或者毫秒精度为数据库中的某个键设置生存时间,在经过指定...
    99+
    2024-04-02
  • redis 设置生存和过期时间的原理分析
    目录在了解原理前 先来看使用方法原理过期键的判定Redis的过期键删除策略原理在了解原理前 先来看使用方法 通过EXPIRE命令或者PEXPIRE命令,客户端可以以秒或者毫秒精度为数...
    99+
    2024-04-02
  • Python中对字典的几个处理方法分享
    目录字典求和列表剔重并计数获取字典中最大的value获取字典中出现value最大的key字典对应元素追加字典对应元素追加并剃重对字典进行过滤反转字典的方法(字典的key和value对...
    99+
    2024-04-02
  • 计算机网络中透明代理的原理分析
    这篇文章主要介绍计算机网络中透明代理的原理分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!1、原理透明代理的意思是客户端根本不需要知道有代理服务器的存在,它改编你的报文并会传送真实IP。使用代理可以看到真实IP。透...
    99+
    2023-06-15
  • React中调和算法Diffing算法策略的示例分析
    这篇文章主要为大家展示了“React中调和算法Diffing算法策略的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“React中调和算法Diffing算法策略的示例分析”这篇文章吧。算法...
    99+
    2023-06-22
  • Vue中$on和$emit的实现原理分析
    目录Vue中发布订阅模式$emit和$on用法深挖首先剖析一下$on的原理实现有一点要记住先定义的先触发分析$emit先打个断点Vue中发布订阅模式 在Vue中采用了发布订阅模式,典...
    99+
    2024-04-02
  • concurrenthashmap中size方法原理的示例分析
    小编给大家分享一下concurrenthashmap中size方法原理的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!concurrenthashmap的size方法原理同上,这也是同一个面试的时候别人问的,我只是...
    99+
    2023-06-29
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作