返回顶部
首页 > 资讯 > 后端开发 > GO >go语言限制协程并发数的方案详情
  • 207
分享到

go语言限制协程并发数的方案详情

2024-04-02 19:04:59 207人浏览 薄情痞子
摘要

目录前言一、使用带缓冲的通道限制并发数1.1方案详情1.2评估总结2.2评估总结其它前言 在使用协程并发处理某些任务时, 其并发数量往往因为各种因素的限制不能无限的增大. 例如网络请

前言

在使用协程并发处理某些任务时, 其并发数量往往因为各种因素的限制不能无限的增大. 例如网络请求、数据库查询等等。从运行效率角度考虑,在相关服务可以负载的前提下(限制最大并发数),尽可能高的并发。本文就这个问题探寻一下解决方案和实现。共两种思路,一是使用带缓冲的通道实现,二是使用实现。

一、使用带缓冲的通道限制并发数

1.1方案详情

先上代码如下, 逻辑很简单.

package Golimit

type GoLimit struct {
    ch chan int
}
func NewGoLimit(max int) *GoLimit {
    return &GoLimit{ch: make(chan int, max)}
func (g *GoLimit) Add() {
    g.ch <- 1
func (g *GoLimit) Done() {
    <-g.ch

按允许最大并发数创建一个带缓冲的通道, 创建协程之前调用Add()往通道里写一个数据, 协程完成是调用Done()方法读取一个数据. 若无法往通道里写数据时, 表示通道已经写满, 也就是目前的协程并发数为允许的最大数量. Add()方法将被阻塞, 也就无法创建新的协程. 直到有协程运行完成, 调用Done()方法读取了通道了一个数据.

以下是使用示例

package main

import (
    "golimit"
    "log"
    "time"
)
func main() {
    log.Println("开始测试...")
    g := golimit.NewGoLimit(2) //max_num(最大允许并发数)设置为2
    for i := 0; i < 10; i++ {
        //尝试增加一个协程, 若已达到最大并发数,将阻塞
        g.Add()
        go func(g *golimit.GoLimit, i int) {
            defer g.Done() //一个并发协程已经完成
            time.Sleep(time.Second * 2)
            log.Println(i, "done")
        }(g, i)
    }
    log.Println("循环结束")
    time.Sleep(time.Second * 3)//等待执行完成
    log.Println("测试结束")
}

1.2评估总结

优点:此方案的实现逻辑简单明了,易理解、易维护。若能满足需求,在一般的场景下,此方案为首选。

隐忧:使用通道的缓冲区的大小来表示最大可并发数,在允许并发数较大,如几千几万甚至更大的情况下,通道的性能和内存的负载是否会有问题,我不太清楚,若哪位朋友知道请告知一下。

不足:运行中难以调整最大可并发数。而在某些场景下是有这种需求的,如A服务依赖的B服务有扩容或缩减,但A服务不能停止,需要调整请求B服务接口的最大可并发数。二、使用锁实现协程并发数量限制2.1方案详情

同样先上代码(注:此代码我已经在GitHub开源https://github.com/zh-five/golimit)

// 协程并发数限制库
package golimit
import (
    "sync"
)
type GoLimit struct {
    max       uint             //并发最大数量
    count     uint             //当前已有并发数
    isAddLock bool             //是否已锁定增加
    zeroChan  chan interface{} //为0时广播
    addLock   sync.Mutex       //(增加并发数的)锁
    dataLock  sync.Mutex       //(修改数据的)锁
}
func NewGoLimit(max uint) *GoLimit {
    return &GoLimit{max: max, count: 0, isAddLock: false, zeroChan: nil}
}
//并发计数加1.若 计数>=max_num, 则阻塞,直到 计数<max_num
func (g *GoLimit) Add() {
    g.addLock.Lock()
    g.dataLock.Lock()
    g.count += 1
    if g.count < g.max { //未超并发时解锁,后续可以继续增加
        g.addLock.Unlock()
    } else { //已到最大并发数, 不解锁并标记. 等数量减少后解锁
        g.isAddLock = true
    }
    g.dataLock.Unlock()
}
//并发计数减1
//若计数<max_num, 可以使原阻塞的Add()快速解除阻塞
func (g *GoLimit) Done() {
    g.dataLock.Lock()
    g.count -= 1
    //解锁
    if g.isAddLock == true && g.count < g.max {
        g.isAddLock = false
        g.addLock.Unlock()
    }
    //0广播
    if g.count == 0 && g.zeroChan != nil {
        close(g.zeroChan)
        g.zeroChan = nil
    }
    g.dataLock.Unlock()
}
//更新最大并发计数为, 若是调大, 可以使原阻塞的Add()快速解除阻塞
func (g *GoLimit) SetMax(n uint) {
    g.dataLock.Lock()
    g.max = n
    //解锁
    if g.isAddLock == true && g.count < g.max {
        g.isAddLock = false
        g.addLock.Unlock()
    }
    //加锁
    if g.isAddLock == false && g.count >= g.max {
        g.isAddLock = true
        g.addLock.Lock()
    }
    g.dataLock.Unlock()
}
//若当前并发计数为0, 则快速返回; 否则阻塞等待,直到并发计数为0
func (g *GoLimit) WaitZero() {
    g.dataLock.Lock()
    //无需等待
    if g.count == 0 {
        g.dataLock.Unlock()
        return
    }
    //无广播通道, 创建一个
    if g.zeroChan == nil {
        g.zeroChan = make(chan interface{})
    }
    //复制通道后解锁, 避免从nil读数据
    c := g.zeroChan
    g.dataLock.Unlock()
    <-c
}
//获取并发计数
func (g *GoLimit) Count() uint {
    return g.count
}
//获取最大并发计数
func (g *GoLimit) Max() uint {
    return g.max
}

总共使用了两把锁,一把是数据锁(dataLock),用来锁定数据,保证数据修改安全,加锁解锁是在修改数据前后进行的;另一把是增加能否增加协程的锁(addLock),增加协程时必须先加锁,加锁成功后修改并发数,若并发数小于最大可并发数,则解锁,否则不解锁,促使后续增加协程的加锁操作阻塞,从而限制协程的并发数。使用示例如下:

package main
import (
    "github.com/zh-five/golimit"
    "log"
    "time"
)
func main() {
    log.Println("开始测试...")
    g := golimit.NewGoLimit(2) //max_num(最大允许并发数)设置为2
    for i := 0; i < 10; i++ {
        //并发计数加1.若 计数>=max_num, 则阻塞,直到 计数<max_num
        g.Add()
        //运行过程中可以随时修改最大可并发数据
        //g.SetMax(3)
        go func(g *golimit.GoLimit, i int) {
            defer g.Done() //并发计数减1
            time.Sleep(time.Second * 2)
            log.Println(i, "done")
        }(g, i)
    }
    log.Println("循环结束")
    g.WaitZero() //阻塞, 直到所有并发都完成
    log.Println("测试结束")
}

方案2的GoLimit除了增加了SetMax()方法用于修改最大可并发数。出于好玩和偷懒增加了一个WaitZero()方法(其实外部使用sync.WaitGroup也可以快速实现此功能),用于阻塞等待所有并发协程都执行完成。大约可以用于如下场景:有一大批url需要有限制的并发采集数据,主程序里只需要简单的调用一下WaitZero()方法,就可以阻塞等等所有采集的协程完成。

2.2评估总结

  • 优点: 从实现逻辑上说,可以确定性能和消耗不会随着最大可并发数增加而线性增加。另外还有很多可扩展的想象。
  • 缺点:实现逻辑比较复杂

其它

其实我很想对比测试一下两种方案的性能,特别是最大可并发比较大时。但我一直没有找到一种好的测试方法,若哪个朋友有方法或思路,欢迎交流。

到此这篇关于go语言限制协程并发数的方案详情的文章就介绍到这了,更多相关go限制协程并发数内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: go语言限制协程并发数的方案详情

本文链接: https://lsjlt.com/news/163582.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • go语言限制协程并发数的方案详情
    目录前言一、使用带缓冲的通道限制并发数1.1方案详情1.2评估总结2.2评估总结其它前言 在使用协程并发处理某些任务时, 其并发数量往往因为各种因素的限制不能无限的增大. 例如网络请...
    99+
    2024-04-02
  • Go 并发编程协程及调度机制详情
    目录协程的概念goroutine 的诞生使用 goroutine 加快速度goroutine 的机制原理前言: 协程(coroutine)是 Go 语言最大的特色之一,gorouti...
    99+
    2024-04-02
  • Go语言并发编程 互斥锁详情
    目录1、互斥锁Mutex 1.1 Mutex介绍 1.2 Mutex使用实例2、读写锁RWMutex 2.1 RWMutex介绍2.2 RWMutex使用实例1、互斥锁Mutex ...
    99+
    2024-04-02
  • Go语言流程控制详情
    目录1、流程控制2、if 语句3、goto4、for语句5、switch1、流程控制 流程控制在编程语言中是最伟大的发明了,因为有了它,你可以通过很简单的流程描述来表达很复杂的逻辑。...
    99+
    2024-04-02
  • Go语言的并发编程和协程使用
    Go语言作为一种强大的编程语言,以其简洁、高效的特性而著称。其中,其强大的并发编程和协程使用是其最大的亮点之一。本文将介绍Go语言中并发编程和协程的原理以及具体使用方法,并提供一些代码...
    99+
    2024-03-02
    go语言 协程 并发
  • Go语言中的并发编程:同步机制详解
    在Go语言中,支持并发编程是其一个非常重要的特性。而并发编程中的同步机制也是非常重要的,它能够确保程序的正确性和稳定性。本文将详细介绍Go语言中的同步机制,并通过演示代码来加深理解。 互斥锁(Mutex) 互斥锁是Go语言中最基础的同...
    99+
    2023-08-23
    并发 同步 索引
  • 详解go语言的并发
    目录1、启动go语言的协程2、runtime.Goexit()方法。立即终止当前的协程3、runtime.GOMAXPROCS()表示go使用几个cpu执行代码4、管道定义和创...
    99+
    2022-06-07
    详解go语言 GO 并发 go语言
  • go语言中的协程详解
    协程的特点 1.该任务的业务代码主动要求切换,即主动让出执行权限 2.发生了IO,导致执行阻塞(使用channel让协程阻塞) 与线程本质的不同 C#、java中我们执行多个线程,是...
    99+
    2024-04-02
  • 优化并发控制:Go语言的良方
    优化并发控制:Go语言的良方 随着互联网技术的高速发展,对于程序的并发控制要求也越来越高。在处理大规模并发请求时,如何优化并发控制成为了开发人员面临的一个重要问题。Go语言作为一门并发...
    99+
    2024-04-02
  • Go 协程与其他语言中的并发机制有什么比较?
    go 协程与其他语言中的并发机制go 协程与其他语言中的并发机制相比,具有更低的内存开销和上下文切换成本。其他并发机制包括:线程:开销较大,需要管理上下文切换和同步。进程:开销较高,难以...
    99+
    2024-05-21
    go 协程
  • python3通过gevent.pool限制协程并发数量的实现方法
    协程虽然是轻量级的线程,但到达一定数量后,仍然会造成服务器崩溃出错。最好的方法通过限制协程并发数量来解决此类问题。 server代码: #!/usr/bin/env python...
    99+
    2024-04-02
  • Go语言并发编程教程:存储问题的解决方案!
    Go语言作为一门开发高并发系统的语言,其并发编程能力一直是备受瞩目的。然而,在使用Go语言进行并发编程时,我们往往会遇到一些存储问题。本文将介绍一些解决这些问题的方案,同时穿插演示代码。 问题:竞态条件 竞态条件是指多个线程同时访问同一资源...
    99+
    2023-10-17
    并发 教程 存储
  • Go语言并发编程:存储方案的选择与优化!
    随着互联网的发展,数据量的增长速度越来越快,因此存储数据的技术也变得越来越重要。在这种情况下,如何选择存储方案并进行优化成为了一个热门话题。本文将介绍如何在Go语言中进行存储方案的选择与优化。 一、选择存储方案 在Go语言中,我们可以使用...
    99+
    2023-10-17
    并发 教程 存储
  • go语言开发优雅得关闭协程的方法
    本篇文章和大家了解一下go语言开发优雅得关闭协程的方法。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。1.简介本文将介绍首先为什么需要主动关闭goroutine,并介绍如何在Go语言中关闭goroutine的常见套路,包括...
    99+
    2023-07-06
  • 深入理解Go语言的并发机制
    深入理解Go语言的并发机制 在Go语言中,通过goroutine和channel实现并发是一种非常高效和简洁的方式。并发是指程序中的多个任务可以同时执行,而不需要等待其它任务结束。通过...
    99+
    2024-04-02
  • 掌握Go语言程序中的并发编程方法
    在现代软件开发中,并发编程变得越来越重要,特别是在需要处理大量并行任务的情况下。Go语言作为一种支持并发编程的语言,提供了丰富的原生并发特性,能够轻松处理并发任务。本文将介绍如何在Go...
    99+
    2024-03-05
    方法 go语言 并发编程 标准库
  • Go语言存储方案:如何实现高效并发?
    Go语言作为一种高效的编程语言,一直以来都备受开发者的青睐。在实际开发中,我们经常会遇到需要高效并发地存储数据的情况。本文将介绍一些Go语言实现高效并发存储的方案,包括使用锁、使用通道和使用Golang的协程池。 一、使用锁实现高效并发存储...
    99+
    2023-10-17
    并发 教程 存储
  • Go语言通过WaitGroup实现控制并发的示例详解
    目录与Channel区别基本使用示例完整代码特别提示多任务示例完整代码与Channel区别 Channel能够很好的帮助我们控制并发,但是在开发习惯上与显示的表达不太相同,所以在Go...
    99+
    2023-01-30
    Go语言 WaitGroup控制并发 Go语言 WaitGroup
  • 解密Go语言同步机制:并发编程的利器
    在当今快节奏的科技发展中,多核处理器和云计算等新技术的快速发展,使得并发编程成为越来越重要的一个领域。而作为一门快速崛起的编程语言,Go语言(Golang)以其高效的并发机制而闻名。本...
    99+
    2024-03-02
    go语言 并发编程 同步机制 并发访问
  • 自然语言处理和并发编程:探索 Go 语言的无限可能性。
    Go 语言作为一种新兴的编程语言,近年来备受关注。它的并发编程能力和简单易学的语法使得它成为了一个优秀的选择。在自然语言处理(NLP)领域,Go 语言也展现出了它的无限可能性。在本文中,我们将探索 Go 语言在 NLP 和并发编程方面的应...
    99+
    2023-11-02
    自然语言处理 并发 开发技术
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作