目录背景并行单元测试支持并发的 Mapsync.RWMutexsync.Map背景 关于 Go 语言的 Map,有两个需要注意的特性: Map 是并发读写不安全的,这是出于性能的考
关于 Go 语言的 Map,有两个需要注意的特性:
recover
捕获。后者意味着,只有出现并发读写的问题,服务就会挂掉。
这两个特性可能大家都知道,可即使有这个共识,我还是见过这个问题导致的事故。
事故的大致情况是,一个人封装了map的读写,没有使用锁。另一个人开协程读写 map。而测试环境请求量小,不一定会导致崩溃,于是,这个问题就留到生产环境才出现了。
除了靠开发者自觉和 code review,还能怎么预防这种情况呢?我觉得在单元测试加入并行测试也很重要。
单元测试默认不是并发的,比如下面的单测,是可以通过的:
func TestConcurrent(t *testing.T) {
var m = map[string]int{}
// 写 map
t.Run("write", func(t *testing.T) {
for i := 0; i < 10000; i++ {
m["a"] = 1
}
})
// 读 map
t.Run("read", func(t *testing.T) {
for i := 0; i < 10000; i++ {
_ = m["a"]
}
})
}
但是我们的期望是,上面的单测不通过,该如何解决呢?
testing.T
有一个 Parallel
方法,它表示当前测试会和其他测试并行运行。 如果参数有-test.count
或-test.cpu
,一个测试可能运行多次,同个测试的多个运行实例,不会并行运行。
我们给上面的单测,加上t.Parallel()
:
func TestConcurrent(t *testing.T) {
var m = map[string]int{}
t.Run("write", func(t *testing.T) {
// 加上并行
t.Parallel()
for i := 0; i < 10000; i++ {
m["a"] = 1
}
})
t.Run("read", func(t *testing.T) {
// 加上并行
t.Parallel()
for i := 0; i < 10000; i++ {
_ = m["a"]
}
})
}
这次执行就会报错:
fatal error: concurrent map read and map write
让 Map 支持并发读写并不麻烦,常见的做法有:
sync.RWMutex
;sync.RWMutex
大家用得可能比较多。这里简单给个demo。
我们给上面的单测加上锁,这次运行就能通过了。
func TestConcurrent(t *testing.T) {
var m = map[string]int{}
// 定义锁,零值就可以使用
var mu sync.RWMutex
t.Run("write", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 锁
mu.Lock()
m["a"] = 1
// 解锁
mu.Unlock()
}
})
t.Run("read", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 锁
mu.Lock()
_ = m["a"]
// 解锁
mu.Unlock()
}
})
}
本文的重点介绍一下Go标准库自带的,支持并发读写的 map:sync.Map
。
sync.Map 就是线程安全版的 map[interface{}]interface{}
,零值可以直接使用,值不能复制。它主要用于以下场景:
上面两种场景中,比起带Mutex
(或RWMutex
)的map,sync.Map 会大大减少锁的竞争。
sync.Map 提供的方法不多,这里列出一些。注意的是,any 是 go 1.18 中 interface{}的别名。
Store,设置 key-value。
func (m *Map) Store(key, value any)
Load, 根据 key 读取 value。
func (m *Map) Load(key any) (value any, ok bool)
Delete,删除某个key。
func (m *Map) Delete(key any)
Range,遍历所有key, 如果f
返回false,会停止遍历。
func (m *Map) Range(f func(key, value any) bool)
还有 LoadAndDelete(读后删除)、LoadOrStore(读key,不存在时设置)。
我们给上面的单测,使用sync.Map
,测试也可以通过。
func TestConcurrent(t *testing.T) {
// 可以使用零值
var m sync.Map
t.Run("write", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 写
m.Store("a", 1)
}
})
t.Run("read", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 读
v, ok := m.Load("a")
if ok {
_ = v.(int)
}
}
})
}
参考
pkg.go.dev/synC#Map
以上就是Go Map并发冲突预防与解决的详细内容,更多关于Go Map并发冲突的资料请关注编程网其它相关文章!
--结束END--
本文标题: GoMap并发冲突预防与解决
本文链接: https://lsjlt.com/news/174909.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-04-05
2024-04-05
2024-04-05
2024-04-04
2024-04-05
2024-04-05
2024-04-05
2024-04-05
2024-04-04
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0