返回顶部
首页 > 资讯 > 后端开发 > Python >ava实现一致性Hash算法
  • 531
分享到

ava实现一致性Hash算法

Java哈希算法Hash算法实现一致性 2023-03-24 11:03:23 531人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

目录1. 实现原理2. 解决数据倾斜的问题什么是数据倾斜?解决3. 代码实现3.1 ConsistentHash3.2 Hash3.3 Utils3.4 main1. 实现原理 将k

1. 实现原理

将key映射到 2^32 - 1 的空间中,将这个数字的首尾相连,形成一个环

  • 计算节点(使用节点名称、编号、IP地址)的hash值,放置在环上
  • 计算key的hash值,放置在环上,顺时针寻找到的第一个节点,就是应选取的节点

例如:p2、p4、p6三个节点,key11、key2、key27按照顺序映射到p2、p4、p6上面,假设新增一个节点p8在p6节点之后,这个时候只需要将key27从p6调整到p8就可以了;也就是说,每次新增删除节点时,只需要重新定位该节点附近的一小部分数据

2. 解决数据倾斜的问题

什么是数据倾斜?

如果服务器的节点过少,容易引起key的倾斜。例如上面的例子中p2、p4、p6分布在环的上半部分,下半部分是空的。那么映射到下半部分的key都会被分配给p2,key过度倾斜到了p2缓存间节点负载不均衡。

解决

为了解决这个问题,引入了虚拟节点的概念,一个真实的节点对应多个虚拟的节点
假设1个真实的节点对应3个虚拟节点,那么p1对应的就是p1-1、p1-2、p1-3

  • 计算虚拟节点的Hash值,放置在环上
  • 计算key的Hash值,在环上顺时针寻找到对应选取的虚拟节点,例如:p2-1,对应真实的节点p2

 虚拟节点扩充了节点的数量,解决了节点较少的情况下数据倾斜的问题,而且代价非常小,只需要新增一个字典(Map)维护真实的节点与虚拟节点的映射关系就可以了

3. 代码实现

3.1 ConsistentHash

这里使用了泛型的方式来保存数据,可以根据不同的类型,获取到不同的节点存储

public class ConsistentHash<T> {

    //自定义hash方法
    private Hash<Object> hashMethod;

    //创建hash映射,虚拟节点映射真实节点
    private final Map<Integer, T> HashMap = new ConcurrentHashMap<>();

    //将所有的hash保存起来
    private List<Integer> keys = new ArrayList<>();

    //默认虚拟节点数量
    private final int replicas;

    public ConsistentHash() {
        this(3, Utils::rehash);
    }

    public ConsistentHash(int replicas, Hash<Object> hashMethod) {
        this.replicas = replicas;
        this.hashMethod = hashMethod;
    }

    @SafeVarargs
    public final void add(T... keys) {
        for (T key : keys) {
            //根据虚拟节点个数来计算虚拟节点
            for (int i = 0; i < this.replicas; i++) {
                //根据函数获取到对应的hash值
                int hash = this.hashMethod.hash(i + ":" + key.toString());
                this.keys.add(hash);
                this.hashMap.put(hash, key);
            }
        }
        //排序,因为是一个环状结构
        Collections.sort(this.keys);
    }

    
    public T get(Object key) {
        Objects.requireNonNull(key, "key不能为空");
        int hash = this.hashMethod.hash(key);
        //获取到对应的节点信息
        int idx = Utils.search(this.keys.size(), h -> this.keys.get(h) >= hash);
        //如果idx == this.keys.size() ,就代表需要取 this.keys.get(0); 因为是环状,所以需要使用 % 来进行处理
        return this.hashMap.get(this.keys.get(idx % this.keys.size()));
    }
}

3.2 Hash

这里定义了一个函数结构,用于自定计算hash值

@FunctionalInterface
public static interface Hash<T> {
    
    int hash(T t);
}

3.3 Utils

由于hashcode采用的int类型进行存储,那么就需要考虑,hash是否超过了int最大存储,如果超过了那么存储的数字就是负数,会对获取节点造成影响,所以这里在取hash值时,采用了hashmap中获取到hashcode之后对其进行与操作,可以减少hash冲突,也可以避免负数的产生

public static class Utils {
		// int类型的最大数据
        static final int HASH_BITS = 0x7fffffff;

        
        public static int search(int len, Function<Integer, Boolean> f) {
            int i = 0, j = len;
            //通过二分查找发来定为索引位置
            while (i < j) {
                //长度除于2
                int h = (i + j) >> 1;
                //调用函数,判断当前的索引值是否大于
                if (f.apply(h)) {
                    //向低半段进行遍历
                    j = h;
                } else {
                    //向高半段进行遍历
                    i = h + 1;
                }
            }
            return i;
        }

        
        public static int rehash(Object o) {
            int h = o.hashCode();
            return (h ^ (h >>> 16)) & HASH_BITS;
        }
    }

3.4 main

下面是main方法进行测试,在后面新增了一个节点之后,只会调整 zs 数据到 109 节点,而且其他两个key的获取不会受到影响

public static void main(String[] args) {
        ConsistentHash<String> consistentHash = new ConsistentHash<>();
        consistentHash.add("192.168.2.106", "192.168.2.107", "192.168.2.108");

        Map<String, Object> map = new HashMap<>();
        map.put("zs", "192.168.2.108");
        map.put("999999", "192.168.2.106");
        map.put("233333", "192.168.2.106");

        map.forEach((k, v) -> {
            String node = consistentHash.get(k);
            if (!v.equals(node)) {
                throw new IllegalArgumentException("节点获取错误,key:" + k + ",获取到的节点值为:" + node);
            }
        });

        consistentHash.add("192.168.2.109");
        map.put("zs", "192.168.2.109");
        map.forEach((k, v) -> {
            String node = consistentHash.get(k);
            if (!v.equals(node)) {
                throw new IllegalArgumentException("节点获取错误,key:" + k + ",获取到的节点值为:" + node);
            }
        });
    }

到此这篇关于ava实现一致性Hash算法的文章就介绍到这了,更多相关Java hash算法内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: ava实现一致性Hash算法

本文链接: https://lsjlt.com/news/201126.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • ava实现一致性Hash算法
    目录1. 实现原理2. 解决数据倾斜的问题什么是数据倾斜?解决3. 代码实现3.1 ConsistentHash3.2 Hash3.3 Utils3.4 main1. 实现原理 将k...
    99+
    2023-03-24
    Java哈希算法 Hash算法实现一致性
  • ava如何实现一致性Hash算法
    这篇文章主要介绍了ava如何实现一致性Hash算法的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇ava如何实现一致性Hash算法文章都会有所收获,下面我们一起来看看吧。1. 实现原理将key映射到 2^32 -...
    99+
    2023-07-05
  • Java实现一致性Hash算法详情
    目录1. 实现原理2. 解决数据倾斜的问题2.1 什么是数据倾斜?2.2 解决3. 代码实现3.1 ConsistentHash3.2 Hash3.3 Utils3.4 main1....
    99+
    2024-04-02
  • 什么是Java一致性Hash算法
    这篇文章主要介绍“什么是Java一致性Hash算法”,在日常操作中,相信很多人在什么是Java一致性Hash算法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”什么是Java一...
    99+
    2024-04-02
  • nacos客户端一致性hash负载需求实现
    目录1.首先创建NacosClient,监听对应的服务:2.创建Nodelistener,主要处理构建hash环等逻辑:3.负载均衡器:思考:最近接到一个需求,由于文件服务器上传文件...
    99+
    2024-04-02
  • redis的一致性hash和hash槽是什么
    这篇文章主要讲解了“redis的一致性hash和hash槽是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“redis的一致性hash和hash槽是什么”...
    99+
    2024-04-02
  • 如何用PHP实现分布算法之一致性哈希算法
    目录传统算法缺陷算法思想算法实现总结传统算法缺陷 对于服务器分布,我们要考虑的东西有如下三点:数据平均分布,查找定位准确,降低宕机影响。 传统算法一般是将数据的键用算法映射出数字,对...
    99+
    2024-04-02
  • python的一致性算法hash_rin
    下载地址:https://pypi.python.org/pypi/hash_ring/ 简单的说:如果你服务器部署多个redis,memechace想要客户端通过负载均衡的方式访问,就要用到这个hash_ring..............
    99+
    2023-01-31
    算法 python 一致性
  • 怎么使用PHP实现分布算法之一致性哈希算法
    这篇文章主要介绍怎么使用PHP实现分布算法之一致性哈希算法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!传统算法缺陷对于服务器分布,我们要考虑的东西有如下三点:数据平均分布,查找定位准确,降低宕机影响。传统算法一般是...
    99+
    2023-06-15
  • 基于Python实现Hash算法
    目录1 前言2 一般hash算法2.1 算法逻辑2.2 代码实现2.3 总结3 一致性hash算法3.1 算法逻辑3.2 代码实现3.3 总结1 前言 Simhash的算法简单的来说...
    99+
    2024-04-02
  • 基于Python如何实现Hash算法
    本篇内容主要讲解“基于Python如何实现Hash算法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“基于Python如何实现Hash算法”吧!1 前言Simhash的算法简单的来说就是,从海量文...
    99+
    2023-06-29
  • 如何理解一致性哈希算法
    本篇内容介绍了“如何理解一致性哈希算法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!要了解一致性哈希,首先...
    99+
    2024-04-02
  • Python小知识 - 一致性哈希算法
    一致性哈希算法 一致性哈希算法(Consistent Hashing Algorithm)是用于解决分布式系统中节点增减比较频繁的问题。它的思想是,将数据映射到0~2^64-1的哈希空间中,并通...
    99+
    2023-09-16
    Python YYDS
  • 如何实现redis数据一致性
    小编给大家分享一下如何实现redis数据一致性,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、缓存一致的必要性还是接上篇来说,我们已经解决了redis缓存穿透的...
    99+
    2023-06-29
  • kafka如何实现数据一致性
    Kafka是一个分布式流处理平台,它通过分布式发布-订阅系统来实现高可靠性和高吞吐量的数据传输。由于Kafka的设计目标是提供高效的...
    99+
    2023-09-14
    kafka
  • 如何分析分布式session解决方案与一致性hash
    这篇文章将为大家详细讲解有关如何分析分布式session解决方案与一致性hash,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。一、问题的提出1. 什么是Session?用户使用网站的服务,需...
    99+
    2023-06-04
  • redis数据一致性的实现示例
    前言 所谓的redis数据一致性即当进行修改或者保存、删除之后,redis中的数据也应该进行相应变化,不然用户再次查询的时候很可能查询出已经删除过的脏数据。 一、缓存一致的必要性 还...
    99+
    2024-04-02
  • 一致性读实现原理是什么
    本篇内容主要讲解“一致性读实现原理是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“一致性读实现原理是什么”吧!MySQL中的事务事务在RDBMS系统中概念基...
    99+
    2024-04-02
  • 一篇文章读懂Java哈希与一致性哈希算法
    目录哈希 Hash 算法介绍分布式存储场景场景描述:实现思路:缺点:一致性Hash算法节点增加场景节点减少场景节点分布不均匀虚拟节点增加节点节点减少总结哈希 Hash 算法介绍 哈希...
    99+
    2024-04-02
  • 详解Java分布式系统中一致性哈希算法
    目录业务场景使用Hash取模的问题1.负载均衡2.分库分表基本思想原理如何提高容错性和扩展性的1. 新增服务器节点2. 删除服务器节点Hash环的数据倾斜问题总结业务场景 近年来B2...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作