返回顶部
首页 > 资讯 > 后端开发 > GO >一文浅析Golang中的sync.Map
  • 720
分享到

一文浅析Golang中的sync.Map

Golang后端Go 2023-05-14 20:05:50 720人浏览 独家记忆
摘要

本篇文章带大家学习golang,深入理解下Golang中的sync.Map,希望对大家有所帮助!我们知道,go 里面提供了 map 这种类型让我们可以存储键值对数据,但是如果我们在并发的情况下使用 map 的话,就会发现它是不支持并发地进行

本篇文章带大家学习golang,深入理解下Golang中的sync.Map,希望对大家有所帮助!

一文浅析Golang中的sync.Map

我们知道,go 里面提供了 map 这种类型让我们可以存储键值对数据,但是如果我们在并发的情况下使用 map 的话,就会发现它是不支持并发地进行读写的(会报错)。 在这种情况下,我们可以使用 sync.Mutex 来保证并发安全,但是这样会导致我们在读写的时候,都需要加,这样就会导致性能的下降。 除了使用互斥锁这种相对低效的方式,我们还可以使用 sync.Map 来保证并发安全,它在某些场景下有比使用 sync.Mutex 更高的性能。 本文就来探讨一下 sync.Map 中的一些大家比较感兴趣的问题,比如为什么有了 map 还要 sync.Map?它为什么快?sync.Map 的适用场景(注意:不是所有情况下都快。)等。

关于 sync.Map 的设计与实现原理,会在下一篇中再做讲解。

map 在并发下的问题

如果我们看过 map源码,就会发现其中有不少会引起 fatal 错误的地方,比如 mapaccess1(从 map 中读取 key 的函数)里面,如果发现正在写 map,则会有 fatal 错误。 【相关推荐:Go视频教程编程教学】

if h.flags&hashWriting != 0 {
    fatal("concurrent map read and map write")
}

map 并发读写异常的例子

下面是一个实际使用中的例子:

var m = make(map[int]int)

// 往 map 写 key 的协程
go func() {
   // 往 map 写入数据
    for i := 0; i < 10000; i++ {
        m[i] = i
    }
}()

// 从 map 读取 key 的协程
go func() {
   // 从 map 读取数据
    for i := 10000; i > 0; i-- {
        _ = m[i]
    }
}()

// 等待两个协程执行完毕
time.Sleep(time.Second)

这会导致报错:

fatal error: concurrent map read and map write

这是因为我们同时对 map 进行读写,而 map 不支持并发读写,所以会报错。如果 map 允许并发读写,那么可能在我们使用的时候会有很多错乱的情况出现。 (具体如何错乱,我们可以对比多线程的场景思考一下,本文不展开了)。

使用 sync.Mutex 保证并发安全

对于 map 并发读写报错的问题,其中一种解决方案就是使用 sync.Mutex 来保证并发安全, 但是这样会导致我们在读写的时候,都需要加锁,这样就会导致性能的下降。

使用 sync.Mutex 来保证并发安全,上面的代码可以改成下面这样:

var m = make(map[int]int)
// 互斥锁
var mu sync.Mutex

// 写 map 的协程
go func() {
    for i := 0; i < 10000; i++ {
        mu.Lock() // 写 map,加互斥锁
        m[i] = i
        mu.Unlock()
    }
}()

// 读 map 的协程序
go func() {
    for i := 10000; i > 0; i-- {
        mu.Lock() // 读 map,加互斥锁
        _ = m[i]
        mu.Unlock()
    }
}()

time.Sleep(time.Second)

这样就不会报错了,但是性能会有所下降,因为我们在读写的时候都需要加锁。(如果需要更高性能,可以继续读下去,不要急着使用 sync.Mutex

sync.Mutex 的常见的用法是在结构体中嵌入 sync.Mutex,而不是定义独立的两个变量。

使用 sync.RWMutex 保证并发安全

在上一小节中,我们使用了 sync.Mutex 来保证并发安全,但是在读和写的时候我们都需要加互斥锁。 这就意味着,就算多个协程进行并发读,也需要等待锁。 但是互斥锁的粒度太大了,但实际上,并发读是没有什么太大问题的,应该被允许才对,如果我们允许并发读,那么就可以提高性能

当然 go 的开发者也考虑到了这一点,所以在 sync 包中提供了 sync.RWMutex,这个锁可以允许进行并发读,但是写的时候还是需要等待锁。 也就是说,一个协程在持有写锁的时候,其他协程是既不能读也不能写的,只能等待写锁释放才能进行读写

使用 sync.RWMutex 来保证并发安全,我们可以改成下面这样:

var m = make(map[int]int)
// 读写锁(允许并发读,写的时候是互斥的)
var mu sync.RWMutex

// 写入 map 的协程
go func() {
    for i := 0; i < 10000; i++ {
        // 写入的时候需要加锁
        mu.Lock()
        m[i] = i
        mu.Unlock()
    }
}()

// 读取 map 的协程
go func() {
    for i := 10000; i > 0; i-- {
        // 读取的时候需要加锁,但是这个锁是读锁
        // 多个协程可以同时使用 RLock 而不需要等待
        mu.RLock()
        _ = m[i]
        mu.RUnlock()
    }
}()

// 另外一个读取 map 的协程
go func() {
    for i := 20000; i > 10000; i-- {
        // 读取的时候需要加锁,但是这个锁是读锁
        // 多个协程可以同时使用 RLock 而不需要等待
        mu.RLock()
        _ = m[i]
        mu.RUnlock()
    }
}()

time.Sleep(time.Second)

这样就不会报错了,而且性能也提高了,因为我们在读的时候,不需要等待锁。

说明:

  • 多个协程可以同时使用 RLock 而不需要等待,这是读锁。
  • 只有一个协程可以使用 Lock,这是写锁,有写锁的时候,其他协程不能读也不能写。
  • 持有写锁的协程,可以使用 Unlock 来释放锁。
  • 写锁释放之后,其他协程才能获取到锁(读锁或者写锁)。

也就是说,使用 sync.RWMutex 的时候,读操作是可以并发执行的,但是写操作是互斥的。 这样一来,相比 sync.Mutex 来说等待锁的次数就少了,自然也就能获得更好的性能了。

gin 框架里面就使用了 sync.RWMutex 来保证 Keys 读写操作的并发安全。

有了读写锁为什么还要有 sync.Map?

通过上面的内容,我们知道了,有下面两种方式可以保证并发安全:

  • 使用 sync.Mutex,但是这样的话,读写都是互斥的,性能不好。
  • 使用 sync.RWMutex,可以并发读,但是写的时候是互斥的,性能相对 sync.Mutex 要好一些。

但是就算我们使用了 sync.RWMutex,也还是有一些锁的开销。那么我们能不能再优化一下呢?答案是可以的。那就是使用 sync.Map

sync.Map 在锁的基础上做了进一步优化,在一些场景下使用原子操作来保证并发安全,性能更好。

使用原子操作替代读锁

但是就算使用 sync.RWMutex,读操作依然还有锁的开销,那么有没有更好的方式呢? 答案是有的,就是使用原子操作来替代读锁。

举一个很常见的例子就是多个协程同时读取一个变量,然后对这个变量进行累加操作:

var a int32

var wg sync.WaitGroup
wg.Add(2)

go func() {
    for i := 0; i < 10000; i++ {
        a++
    }
    wg.Done()
}()

go func() {
    for i := 0; i < 10000; i++ {
        a++
    }
    wg.Done()
}()

wg.Wait()

// a 期望结果应该是 20000才对。
fmt.Println(a) // 实际:17089,而且每次都不一样

这个例子中,我们期望的结果是 a 的值是 20000,但是实际上,每次运行的结果都不一样,而且都不会等于 20000。 其中很简单粗暴的一种解决方法是加锁,但是这样的话,性能就不好了,但是我们可以使用原子操作来解决这个问题:

var a atomic.Int32

var wg sync.WaitGroup
wg.Add(2)

go func() {
    for i := 0; i < 10000; i++ {
        a.Add(1)
    }
    wg.Done()
}()

go func() {
    for i := 0; i < 10000; i++ {
        a.Add(1)
    }
    wg.Done()
}()

wg.Wait()

fmt.Println(a.Load()) // 20000

锁跟原子操作的性能差多少?

我们来看一下,使用锁和原子操作的性能差多少:

func BenchmarkMutexAdd(b *testing.B) {
   var a int32
   var mu sync.Mutex

   for i := 0; i < b.N; i++ {
      mu.Lock()
      a++
      mu.Unlock()
   }
}

func BenchmarkAtomicAdd(b *testing.B) {
   var a atomic.Int32
   for i := 0; i < b.N; i++ {
      a.Add(1)
   }
}

结果:

BenchmarkMutexAdd-12       100000000          10.07 ns/op
BenchmarkAtomicAdd-12      205196968           5.847 ns/op

我们可以看到,使用原子操作的性能比使用锁的性能要好一些。

也许我们会觉得上面这个例子是写操作,那么读操作呢?我们来看一下:

func BenchmarkMutex(b *testing.B) {
   var mu sync.RWMutex

   for i := 0; i < b.N; i++ {
      mu.RLock()
      mu.RUnlock()
   }
}

func BenchmarkAtomic(b *testing.B) {
   var a atomic.Int32
   for i := 0; i < b.N; i++ {
      _ = a.Load()
   }
}

结果:

BenchmarkMutex-12      100000000          10.12 ns/op
BenchmarkAtomic-12     1000000000          0.3133 ns/op

我们可以看到,使用原子操作的性能比使用锁的性能要好很多。而且在 BenchmarkMutex 里面甚至还没有做读取数据的操作。

sync.Map 里面的原子操作

sync.Map 里面相比 sync.RWMutex,性能更好的原因就是使用了原子操作。 在我们从 sync.Map 里面读取数据的时候,会先使用一个原子 Load 操作来读取 sync.Map 里面的 key(从 read 中读取)。 注意:这里拿到的是 key 的一份快照,我们对其进行读操作的时候也可以同时往 sync.Map 中写入新的 key,这是保证它高性能的一个很关键的设计(类似读写分离)。

sync.Map 里面的 Load 方法里面就包含了上述的流程:

// Load 方法从 sync.Map 里面读取数据。
func (m *Map) Load(key any) (value any, ok bool) {
   // 先从只读 map 里面读取数据。
   // 这一步是不需要锁的,只有一个原子操作。
   read := m.loadReadOnly()
   e, ok := read.m[key]
   if !ok && read.amended { // 如果没有找到,并且 dirty 里面有一些 read 中没有的 key,那么就需要从 dirty 里面读取数据。
      // 这里才需要锁
      m.mu.Lock()
      read = m.loadReadOnly()
      e, ok = read.m[key]
      if !ok && read.amended {
         e, ok = m.dirty[key]
         m.missLocked()
      }
      m.mu.Unlock()
   }
   
   // key 不存在
   if !ok {
      return nil, false
   }
   // 使用原子操作读取
   return e.Load()
}

上面的代码我们可能还看不懂,但是没关系,这里我们只需要知道的是,从 sync.Map 读取数据的时候,会先做原子操作,如果没找到,再进行加锁操作,这样就减少了使用锁的频率了,自然也就可以获得更好的性能(但要注意的是并不是所有情况下都能获得更好的性能)。至于具体实现,在下一篇文章中会进行更加详细的分析。

也就是说,sync.Map 之所以更快,是因为相比 RWMutex,进一步减少了锁的使用,而这也就是 sync.Map 存在的原因了

sync.Map 的基本用法

现在我们知道了,sync.Map 里面是利用了原子操作来减少锁的使用。但是我们好像连 sync.Map 的一些基本操作都还不了解,现在就让我们再来看看 sync.Map 的基本用法。

sync.Map 的使用还是挺简单的,map 中有的操作,在 sync.Map 都有,只不过区别是,在 sync.Map 中,所有的操作都需要通过调用其方法来进行。sync.Map 里面几个常用的方法有(CRUD):

  • Store:我们新增或者修改数据的时候,都可以使用 Store 方法。
  • Load:读取数据的方法。
  • Range:遍历数据的方法。
  • Delete:删除数据的方法。
var m sync.Map

// 写入/修改
m.Store("foo", 1)

// 读取
fmt.Println(m.Load("foo")) // 1 true

// 遍历
m.Range(func(key, value interface{}) bool {
    fmt.Println(key, value) // foo 1
    return true
})

// 删除
m.Delete("foo")
fmt.Println(m.Load("foo")) // nil false

注意:在 sync.Map 中,keyvalue 都是 interface{} 类型的,也就是说,我们可以使用任意类型的 keyvalue。 而不像 map,只能存在一种类型的 keyvalue。从这个角度来看,它的类型类似于 map[any]any

另外一个需要注意的是,Range 方法的参数是一个函数,这个函数如果返回 false,那么遍历就会停止。

sync.Map 的使用场景

sync.Map 源码中,已经告诉了我们 sync.Map 的使用场景:

The Map type is optimized for two common use cases: (1) when the entry for a given
key is only ever written once but read many times, as in caches that only grow,
or (2) when multiple goroutines read, write, and overwrite entries for disjoint
sets of keys. In these two cases, use of a Map may significantly reduce lock
contention compared to a Go map paired with a separate Mutex or RWMutex.

翻译过来就是,Map 类型针对两种常见用例进行了优化:

  • 当给定 key 的条目只写入一次但读取多次时,如在只会增长的缓存中。(读多写少)
  • 当多个 goroutine 读取、写入和覆盖不相交的键集的条目。(不同 goroutine 操作不同的 key)

在这两种情况下,与 Go map 与单独的 MutexRWMutex 配对相比,使用 sync.Map 可以显著减少锁竞争(很多时候只需要原子操作就可以)。

总结

  • 普通的 map 不支持并发读写。
  • 有以下两种方式可以实现 map 的并发读写:
    • 使用 sync.Mutex 互斥锁。读和写的时候都使用互斥锁,性能相比 sync.RWMutex 会差一些。
    • 使用 sync.RWMutex 读写锁。读的锁是可以共享的,但是写锁是独占的。性能相比 sync.Mutex 会好一些。
  • sync.Map 里面会先进行原子操作来读取 key,如果读取不到的时候,才会需要加锁。所以性能相比 sync.Mutexsync.RWMutex 会好一些。
  • sync.Map 里面几个常用的方法有(CRUD):
    • Store:我们新增或者修改数据的时候,都可以使用 Store 方法。
    • Load:读取数据的方法。
    • Range:遍历数据的方法。
    • Delete:删除数据的方法。
  • sync.Map 的使用场景,sync.Map 针对以下两种场景做了优化:
    • key 只会写入一次,但是会被读取多次的场景。
    • 多个 goroutine 读取、写入和覆盖不相交的键集的条目。

以上就是一文浅析Golang中的sync.Map的详细内容,更多请关注编程网其它相关文章!

您可能感兴趣的文档:

--结束END--

本文标题: 一文浅析Golang中的sync.Map

本文链接: https://lsjlt.com/news/203569.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 一文浅析Golang中的sync.Map
    本篇文章带大家学习Golang,深入理解下Golang中的sync.Map,希望对大家有所帮助!我们知道,go 里面提供了 map 这种类型让我们可以存储键值对数据,但是如果我们在并发的情况下使用 map 的话,就会发现它是不支持并发地进行...
    99+
    2023-05-14
    Golang 后端 Go
  • 一文浅析Golang中的闭包
    1、什么是闭包?在真正讲述闭包之前,我们先铺垫一点知识点:函数式编程函数作用域作用域的继承关系【相关推荐:Go视频教程】1.1 前提知识铺垫1.2.1 函数式编程函数式编程是一种编程范式,看待问题的一种方式,每一个函数都是为了用小函数组织成...
    99+
    2023-05-14
    闭包 Go 后端
  • 一文浅析Golang中的数组
    本篇文章带大家学习一下Golang,聊聊Go语言基础中的数组,希望对大家有所帮助。【编程教程推荐:编程教学】1.数组定义:数组是同一种数据类型元素的集合。 在Go语言中,数组从声明时就确定,使用时可以修改数组成员,但是数组大小不可变化。 基...
    99+
    2023-05-14
    Golang 后端 Go
  • 一文浅析Golang中的运算符
    本篇文章带大家学习一下Golang,聊聊Go语言基础中的运算符,希望对大家有所帮助。Go 语言内置的运算符有:算术运算符关系运算符逻辑运算符赋值运算符位运算符对于有过其他编程语言的朋友,学习起来还是很简单的。基本上看一遍就足够了。【相关推荐...
    99+
    2023-05-14
    运算符 后端 Go
  • 一文浅析Golang中的切片(Slice)
    本篇文章带大家学习一下Golang,聊聊Go语言基础中的切片(Slice),希望对大家有所帮助。1.切片的定义从上一节我们知道,因为数组的长度是固定的并且数组长度属于类型的一部分,数组a中已经有三个元素了,我们不能再继续往数组a中添加新元素...
    99+
    2023-05-14
    切片 Golang go语言 Go
  • 一文浅析Golang中的流程控制
    本篇文章带大家学习一下Golang,聊聊Go语言基础中的流程控制,希望对大家有所帮助。Go语言基础之流程控制主要包括以下内容:条件语句if条件语句switch条件语句select循环语句for循环语句range循环控制Goto、B...
    99+
    2023-05-14
    流程控制 后端 Go
  • 一文浅析Golang中的nil和零值
    作为一个长期从事Java开发的人员,我痴迷于null检查和处理null值。在golang中,故事有些不同。在这篇文章中,我将尝试描述在golang中如何使用nil和零值。非空和空类型在go中类型可以是空或非空。 非空类型永远不能为nil,并...
    99+
    2023-05-14
    nil Golang go语言
  • Golang中的sync.Map怎么使用
    今天小编给大家分享一下Golang中的sync.Map怎么使用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。map 在并发下...
    99+
    2023-07-05
  • 一文浅析Node中的TCP和UDP
    Node 是一个面向网络而生的平台,它具有事件驱动、无阻塞、单线程等特性,具备良好的可伸缩性,使得它十分轻量,适合在分布式网络中扮演各种各样的角色。Node 提供了 net、dgram、http、http2、https 等模块,分别用于处理...
    99+
    2023-05-14
    前端 JavaScript Node.js
  • 一文带你深入探究Go语言中的sync.Map
    目录1. Map 的基本实现原理2. sync.Map 的实现原理2.1 sync.Map 的结构体定义2.2 sync.Map 的读取实现2.3 sync.Map 的写入实现2.4...
    99+
    2023-05-18
    Go语言sync.Map实现原理 Go语言sync.Map使用 Go语言sync.Map Go sync.Map
  • 浅析Golang中的内存逃逸
    目录什么是内存逃逸分析为什么需要逃逸分析如果变量放错了位置会怎样内存逃逸场景return 局部变量的指针interface{} 动态类型栈空间不足闭包性能最后什么是内存逃逸分析 内存...
    99+
    2024-04-02
  • 浅析Golang中map的实现原理
    Golang是一门支持面向对象编程的编程语言,它拥有高效的内存管理机制和灵活的语法特性,被广泛用于服务器端开发、网络编程、云计算等领域。在Golang中,map是一种非常重要的数据结构,它可以存储键值对,并提供快速的查找和插入操作。本文将介...
    99+
    2023-05-14
    go语言 Golang map
  • 浅析golang中JSON的使用方法
    Go是一门功能齐全的编程语言,同时也是一门非常流行的编程语言。它的一个强大之处就是对JSON的处理。JSON是一种轻量级的数据交换格式,非常适合用于Web应用程序中的数据交换。在golang中,处理JSON数据非常简单且高效。让我们来了解一...
    99+
    2023-05-14
  • 一文浅析Vue中的路由和多种守卫
    4.多级路由在配置路由规则的以及路由里面进行配置下一级路由使用children:[ { } ]这种形式 routes: [{ path: '/about', compon...
    99+
    2023-05-14
    Vue
  • 浅析golang的依赖注入
    目录前言基于反射的DI基于代码生成的DI前言 如果是做web开发,对依赖注入肯定不陌生,java程序员早就习惯了spring提供的依赖注入,做业务开发时非常方便,只关注业务逻辑即可,...
    99+
    2024-04-02
  • 使用golang中的sync.Map函数实现并发安全的映射
    标题:使用golang中的sync.Map函数实现并发安全的映射引言:在并发编程中,多个goroutine同时对同一个数据结构进行读写操作,会造成数据竞争和不一致的问题。为了解决这个问题,Go语言提供了sync包中的Map类型,它是并发安全...
    99+
    2023-11-18
    Golang 并发安全 syncMap
  • 浅析C++中static的一些用法
    概述 Static,顾名思义是静态、静止的意思。在C语言中static是一个用来修饰变量与函数的关键字,被修饰对象的某些性质将发生根本性的改变,而这些变化从某种意义上又似乎契合了&l...
    99+
    2022-12-08
    static的用法 c++ static关键字
  • 一文解析Golang中字符串的转义方式
    在Golang中,字符串是一种非常常见的数据类型。而在处理字符串时,有时候需要对一些特殊字符进行转义,才能保证字符串的正确性。本文将介绍Golang中字符串的转义方式。一、转义符Golang中使用反斜杠()作为转义的开始。以下是一些常见的转...
    99+
    2023-05-14
  • golang中什么是接口?(用法浅析)
    Golang 是一种非常流行的编程语言,其提供了许多强大的特性和工具,可以帮助开发者轻松地构建高性能和高可靠性的应用程序。其中,Golang 接口是其最强大和重要的一个特性之一。本文将向您介绍 Golang 接口的用法。一、什么是接口?接口...
    99+
    2023-05-14
  • 浅析Golang中字符串拼接问题
    目录1.概述2.Golang中字符串拼接的方式3.总结1.概述 Go的字符串是一个不可改变的数据结构,这和其他语言如JAVA,C++等的设定很类似.总体来说,有如下五种拼接方式,下面...
    99+
    2023-05-15
    Golang字符串拼接 Go 字符串拼接 Golang字符串
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作