返回顶部
首页 > 资讯 > 精选 >并发编程LongAdder的原理是什么
  • 413
分享到

并发编程LongAdder的原理是什么

2023-06-20 12:06:57 413人浏览 泡泡鱼
摘要

本篇内容介绍了“并发编程LongAdder的原理是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!目录一、前言二、LongAdder类的使

本篇内容介绍了“并发编程LongAdder的原理是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

目录
  • 一、前言

  • 二、LongAdder类的使用

  • 三、LongAdder原理的直观理解

  • 四、源码分析

  • 五、与AtomicInteger的比较

  • 六、思想的抽象

一、前言

ConcurrentHashMap源码采用了一种比较独特的方式对map中的元素数量进行统计,自然是要好好研究一下其原理思想,同时也能更好地理解ConcurrentHashMap本身。

本文主要思路分为以下5个部分:

计数的使用效果

原理的直观图解

源码的细节分析

与AtomicInteger的比较

思想的抽象

学习的入口自然是map的put方法

public V put(K key, V value) {    return putVal(key, value, false);}

查看putVal方法

这里并不对ConcurrentHashMap本身的原理作过多讨论,因此我们直接跳到计数部分

final V putVal(K key, V value, boolean onlyIfAbsent) {    ...    addCount(1L, binCount);    return null;}

每当成功添加一个元素之后,都会调用addCount方法进行数量的累加1的操作,这就是我们研究的目标

因为ConcurrentHashMap的设计初衷就是为了解决多线程并发场景下的map操作,因此在作数值累加的时候自然也要考虑线程安全

当然,多线程数值累加一般是学习并发编程的第一课,本身并非很复杂,可以采用AtomicInteger或者等等方式来解决该问题

然而如果我们查看该方法,就会发现,一个想来应该比较简单的累加方法,其逻辑看上去却相当复杂

这里我只贴出了累加算法的核心部分

private final void addCount(long x, int check) {    CounterCell[] as; long b, s;    if ((as = counterCells) != null ||            !U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {        CounterCell a; long v; int m;        boolean uncontended = true;        if (as == null || (m = as.length - 1) < 0 ||                (a = as[ThreadLocalRandom.getProbe() & m]) == null ||                !(uncontended =                        U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {            fullAddCount(x, uncontended);            return;        }        if (check <= 1)            return;        s = sumCount();    }    ...}

我们就来研究一下该逻辑的实现思路。而这个思路其实是照搬了LongAdder类的逻辑,因此我们直接查看该算法的原始类

二、LongAdder类的使用

我们先看下LongAdder的使用效果

LongAdder adder = new LongAdder();int num = 0;@Testpublic void test5() throws InterruptedException {    Thread[] threads = new Thread[10];    for (int i = 0; i < 10; i++) {        threads[i] = new Thread(() -> {            for (int j = 0; j < 10000; j++) {                adder.add(1);                num += 1;            }        });        threads[i].start();    }    for (int i = 0; i < 10; i++) {        threads[i].join();    }    System.out.println("adder:" + adder);    System.out.println("num:" + num);}

输出结果

adder:100000

num:40982

可以看到adder在使用效果上是可以保证累加的线程安全的

三、LongAdder原理的直观理解

为了更好地对源码进行分析,我们需要先从直觉上理解它的原理,否则直接看代码的话会一脸懵逼

LongAdder的计数主要分为2个对象

一个long类型的字段:base

一个Cell对象数组,Cell对象中就维护了一个long类型的字段value,用来计数

transient volatile Cell[] cells;transient volatile long base;

并发编程LongAdder的原理是什么

当没有发生线程竞争的时候,累加都会发生在base字段上,这就相当于是一个单线程累加2次,只不过base的累加是一个cas操作

并发编程LongAdder的原理是什么

当发生线程竞争的时候,必然有一个线程对base的cas累加操作失败,于是它先去判断Cell是否已经被初始化了,如果没有则初始化一个长度为2的数组,并根据线程的hash值找到对应的数组索引,并对该索引的Cell对象中的value值进行累加(这个累加也是cas的操作)

并发编程LongAdder的原理是什么

如果一共有3个线程发生了竞争,那么其中第一个线程对base的cas累加成功,剩下2个线程都需要去对Cell数组中的元素进行累加。因为对Cell中value值的累加也是一个cas操作,如果第二个线程和第三个线程的hash值对应的数组下标是同一个,那么同样会发生竞争,如果第二个线程成功了,第三个线程就会去rehash自己的hash值,如果得到的新的hash值对应的是另一个元素为null的数组下标,那么就new一个Cell对象并对value值进行累加

并发编程LongAdder的原理是什么

如果此时有线程4同时参与竞争,那么对于线程4来说,即使rehash后还是可能在和线程3的竞争过程中cas失败,此时如果当前数组的容量小于系统可用的cpu的数量,那么它就会对数组进行扩容,之后再次rehash,重复尝试对Cell数组中某个下标对象的累加

并发编程LongAdder的原理是什么

以上就是整体直觉上的理解,然而代码中还有很多细节的设计非常值得学习,所以我们就开始进入源码分析的环节

四、源码分析

入口方法是add

public void add(long x) {    Cell[] as; long b, v; int m; Cell a;        if ((as = cells) != null || !casBase(b = base, b + x)) {                boolean uncontended = true;                if (as == null || (m = as.length - 1) < 0 ||                                (a = as[getProbe() & m]) == null ||                                !(uncontended = a.cas(v = a.value, v + x)))            longAccumulate(x, null, uncontended);    }}

当不发生线程竞争的时候,那累加操作就会由第一个if中的casBase负责,对应之前图解的情况一

当发生线程竞争之后,累加操作就会由cell数组负责,对应之前图解的情况二(数组的初始化在longAccumulate方法中)

接着我们查看主逻辑方法,因为方法比较长,所以我会一段一段拿出来解析

longAccumulate方法

签名中的参数

x表示需要累加的值

fn表示需要如何累加,一般传null就行,不重要

wasUncontended表示是否在外层方法遇到了竞争失败的情况,因为外层的判断逻辑是多个“或”(as == null || (m = as.length - 1) < 0 || (a = as[getProbe() & m]) == null),所以如果数组为空或者相应的下标元素还未初始化,这个字段就会保持false

final void longAccumulate(long x, LongBinaryOperator fn,                          boolean wasUncontended) {  ...}

首先判断线程的hash值是否为0,如果为0则需要做一个初始化,即rehash

之后会将wasUncontended置为true,因为即使之前是冲突过的,经过rehash后就会先假设它能找到一个元素不冲突的数组下标

int h;//线程的hash值,在后面的逻辑中会用到if ((h = getProbe()) == 0) {    ThreadLocalRandom.current(); // force initialization    h = getProbe();    wasUncontended = true;}

之后是一个死循环,死循环中有3个大的if分支,这3个分支的逻辑作用于数组未初始化的时候,一旦数组初始化完成,那么就都会进入主逻辑了,因此我这里把主逻辑抽取出来放到后面单独说,也可以避免外层分支对思路的影响

boolean collide = false;for (; ; ) {    Cell[] as;    Cell a;    int n;//cell数组长度    long v;//需要被累积的值        if ((as = cells) != null && (n = as.length) > 0) {        ...            } else if (cellsBusy == 0 && cells == as && casCellsBusy()) {                boolean init = false;        try {                                       if (cells == as) {                Cell[] rs = new Cell[2];                rs[h & 1] = new Cell(x);                cells = rs;                init = true;            }        } finally {            cellsBusy = 0;        }        if (init)            break;            } else if (casBase(v = base, ((fn == null) ? v + x :            fn.applyAsLong(v, x))))        break;                          // Fall back on using base}

接着就看对cell数组元素进行累加的主逻辑

if ((as = cells) != null && (n = as.length) > 0) {        if ((a = as[(n - 1) & h]) == null) {                if (cellsBusy == 0) {                        Cell r = new Cell(x);                        if (cellsBusy == 0 && casCellsBusy()) {                boolean created = false;                try {                                        Cell[] rs;                    int m, j;                    if ((rs = cells) != null &&                            (m = rs.length) > 0 &&                            rs[j = (m - 1) & h] == null) {                        rs[j] = r;                        created = true;                    }                } finally {                    cellsBusy = 0;                }                                if (created)                    break;                                continue;            }        }                collide = false;        } else if (!wasUncontended)         wasUncontended = true;        else if (a.cas(v = a.value, ((fn == null) ? v + x :            fn.applyAsLong(v, x))))        break;        else if (n >= NCPU || cells != as)        collide = false;        else if (!collide)        collide = true;        else if (cellsBusy == 0 && casCellsBusy()) {                try {            if (cells == as) {                 Cell[] rs = new Cell[n << 1];                for (int i = 0; i < n; ++i)                    rs[i] = as[i];                cells = rs;            }        } finally {            cellsBusy = 0;        }        collide = false;                continue;                   }        h = advanceProbe(h);}

到这里LongAdder的源码其实就分析结束了,其实代码并不多,但是他的思想非常值得我们去学习。

五、与AtomicInteger的比较

光分析源码其实还差一些感觉,我们还没有搞懂为何作者要在已经有AtomicInteger的情况下,再设计这么一个看上去非常复杂的类。

那么首先我们先分析下AtomicInteger保证线程安全的原理

查看最基本的getAndIncrement方法

public final int getAndIncrement() {    return unsafe.getAndAddInt(this, valueOffset, 1);}

调用了Unsafe类的getAndAddInt方法,继续往下看

public final int getAndAddInt(Object var1, long var2, int var4) {    int var5;    do {        var5 = this.getIntVolatile(var1, var2);    } while(!this.compareAndSwapint(var1, var2, var5, var5 + var4));    return var5;}

这里我们不再深究getIntVolatile和compareAndSwapInt方法具体实现,因为其已经是native的方法了

可以看到,AtomicInteger底层是使用了cas+自旋的方式解决原子性问题的,即如果一次赋值不成功,那么就自旋,直到赋值成功为止

那么由此可以推断,当出现大量线程并发,竞争非常激烈的时候,AtomicInteger就有可能导致有些线程不断地竞争失败,不断自旋从而影响任务的吞吐量

为了解决高并发下的自旋问题,LongAdder的作者在设计的时候就通过增加一个数组的方式,使得竞争的对象从一个值变成多个值,从而使得发生竞争的频率降低,从而缓解了自旋的问题,当然付出的代价就是额外的存储空间。

最后我简单做了个测试,比较2种计数方法的耗时

通过原理可知,只有当线程竞争非常激烈的时候,LongAdder的优势才会比较明显,因此这里我用了100个线程,每一个线程对同一个数累加1000000次,得到结果如下,差距非常巨大,达到15倍!

LongAdder耗时:104292242nanos

AtomicInteger耗时:1583294474nanos

当然这只是一个简单测试,包含了很多随机性,有兴趣的同学可以尝试不同的竞争程度多次测试

六、思想的抽象

最后我们需要将作者的具体代码和实现逻辑抽象一下,理清思考的过程

1)AtomicInteger遇到的问题:单个资源的竞争导致自旋的发生

2)解决的思路:将单个对象的竞争扩展为多个对象的竞争(有那么一些分治的思想)

3)扩展的可控性:多个竞争对象需要付出额外的存储空间,因此不能无脑地扩展(极端情况是一个线程一个计数的对象,这明显不合理)

4)问题的分层:因为使用类的时候的场景是不可控的,因此需要根据并发的激烈程度动态地扩展额外的存储空间(类似于synchronized的膨胀)

5)3个分层策略:当不发生竞争时,那么用一个值累加即可;当发生一定程度的竞争时,创建一个容量为2的数组,使得竞争的资源扩展为3个;当竞争更加激烈时,则继续扩展数组(对应图解中的1个线程到4个线程的过程)

6)策略细节:在自旋的时候增加rehash,此时虽然付出了一定的运算时间计算hash、比较数组对象等,但是这会使得并发的线程尽快地找到专属于自己的对象,在之后就不会再发生任何竞争(磨刀不误砍柴工,特别注意wasUncontended字段的相关注解)

“并发编程LongAdder的原理是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!

--结束END--

本文标题: 并发编程LongAdder的原理是什么

本文链接: https://lsjlt.com/news/296527.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 并发编程LongAdder的原理是什么
    本篇内容介绍了“并发编程LongAdder的原理是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!目录一、前言二、LongAdder类的使...
    99+
    2023-06-20
  • 分析并发编程之LongAdder原理
    目录一、前言二、LongAdder类的使用三、LongAdder原理的直观理解四、源码分析五、与AtomicInteger的比较六、思想的抽象一、前言 ConcurrentHashM...
    99+
    2024-04-02
  • LongAdder的实现原理是什么
    LongAdder的实现原理是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。AtomicLong的实现原理图:LongAdder是JDK8...
    99+
    2024-04-02
  • Java并发编程之LongAdder源码解析
    目录前言源码简介前言 上一篇文章 Java并发编程之原子类(二)中介绍了LongAdder常用的方法,今天我们根据源码来分析一下它的基本实现流程。 This class is usu...
    99+
    2023-05-18
    Java并发LongAdder Java并发
  • Java并发编程中并发机制的底层实现原理是什么
    今天就跟大家聊聊有关Java并发编程中并发机制的底层实现原理是什么,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。Java中的并发机制依赖于JVM的实现和CPU指令,接下来我们深入底层...
    99+
    2023-06-19
  • Java并发编程之LongAdder执行情况解析
    目录正文longAccumulate方法线程hash值初始化Cell数组对base进行累加Cell数组初始化之后正文 上篇文章 Java并发编程之LongAdder源码(一)中最后写...
    99+
    2023-05-18
    Java并发LongAdder执行 Java并发
  • Node高并发的原理是什么
    这篇文章主要介绍“Node高并发的原理是什么”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Node高并发的原理是什么”文章能帮助大家解决问题。从头聊起一个常见web应用会做哪些事情运算(执行业务逻辑...
    99+
    2023-07-04
  • 什么是Java并发编程
    本篇内容主要讲解“什么是Java并发编程”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“什么是Java并发编程”吧!Java多线程概述在Java中使用多线程是提高程序并发响应能力的重要手段,但同时...
    99+
    2023-06-15
  • mongodb事务并发的原理是什么
    MongoDB的事务并发原理是基于多版本并发控制(MVCC)机制。在MongoDB中,每个文档都有一个唯一的_id字段作为标识。当进...
    99+
    2023-08-30
    mongodb
  • Redis 数据库并发的原理是什么
    本篇文章为大家展示了Redis 数据库并发的原理是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。一、单线程模型Redis客户端对服务端的每次调用都经历了发送命令...
    99+
    2024-04-02
  • mysql中并发控制的原理是什么
    mysql中并发控制的原理是什么,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1、mysql的逻辑框架mysql逻辑框架图如下:最上层是处...
    99+
    2024-04-02
  • Java并发编程的三要素是什么
    本篇内容介绍了“Java并发编程的三要素是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!1 原子性 1.1 原子性的定义原子性指的是一个...
    99+
    2023-06-30
  • GO并发模型的实现原理是什么
    这篇文章主要介绍了GO并发模型的实现原理是什么的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇GO并发模型的实现原理是什么文章都会有所收获,下面我们一起来看看吧。前言请记住下面这句话:DO NOT COMMUNI...
    99+
    2023-06-30
  • python基础之什么是并发编程
    本篇内容介绍了“python基础之什么是并发编程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!一、协程定义和作用协程(coroutine),...
    99+
    2023-06-25
  • C++多进程并发框架FFLIB中Tutorial的原理是什么
    C++多进程并发框架FFLIB中Tutorial的原理是什么,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。特意采用了Broker模式,是吸收了MPI和Erlan...
    99+
    2023-06-17
  • Python 并发编程的关键挑战是什么?
    Python 是一种高级编程语言,它在数据处理、科学计算、人工智能等领域广泛应用。Python 语言的一个优点就是它天生就支持并发编程。Python 中有多种方式来实现并发编程,包括多线程、多进程和协程等。但是,Python 并发编程也存...
    99+
    2023-09-26
    并发 spring 自然语言处理
  • java并发编程synchronized底层实现原理
    首先那些说看过synchronized源码的基本都是大聪明,synchronized根本点不进去,想弄懂它的实现原理,我们只能通过看编译好的字节码文件 整个测试类 public cl...
    99+
    2024-04-02
  • Java并发程序出现Bug的原因是什么
    本篇内容介绍了“Java并发程序出现Bug的原因是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成! 可见性问题可见性是指一个线程...
    99+
    2023-06-16
  • GO并发编程使用方法是什么
    这篇文章主要介绍了GO并发编程使用方法是什么的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇GO并发编程使用方法是什么文章都会有所收获,下面我们一起来看看吧。啥是并发编程呢指在一台处理器上同时处理多个任务此处说的...
    99+
    2023-07-05
  • Java并发编程学习方法是什么
    这篇文章主要讲解了“Java并发编程学习方法是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Java并发编程学习方法是什么”吧!一:并发基础和多线程首先需要学习的就是并发的基础知识,什么...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作