返回顶部
首页 > 资讯 > 后端开发 > Python >Python使用gevent实现协程
  • 490
分享到

Python使用gevent实现协程

Pythongevent 2023-01-31 01:01:50 490人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

  python中多任务的实现可以使用进程和线程,也可以使用协程。  一、协程介绍  协程,又称微线程。英文名Coroutine。协程是Python语言中所特有的,在其他语言中没有。  协程是python中另外一种实现多任务的方式,比线程更

  python中多任务的实现可以使用进程和线程,也可以使用协程。

  一、协程介绍

  协程,又称微线程。英文名Coroutine。协程是Python语言中所特有的,在其他语言中没有。

  协程是python中另外一种实现多任务的方式,比线程更小、占用更小执行单元(理解为需要的资源)。

  在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行。

  注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己决定。

  在实现多任务时, 线程切换从系统层面远不止保存和恢复CPU上下文那么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。

  二、通过yield实现任务切换

  import time

  def coroutine1():

  for i in range(5):

  print("-----coroutine1-----")

  yield

  time.sleep(1)

  def coroutine2():

  for i in range(5):

  print("-----coroutine2-----")

  yield

  time.sleep(1)

  if __name__ == "__main__":

  c1 = coroutine1()

  c2 = coroutine2()

  for i in range(3):

  next(c1)

  next(c2)

  运行结果:

  -----coroutine1-----

  -----coroutine2-----

  -----coroutine1-----

  -----coroutine2-----

  -----coroutine1-----

  -----coroutine2-----

  yield可以用来实现生成器,当函数中有yield时,则不再是函数而是生成器。

  参考:https://blog.csdn.net/weixin_43790276/article/details/90523155

  当运行到yield时,会保存当前运行状态,然后暂停执行,直到使用next()方法再次调用生成器时,才会从yield处开始执行,再次回到yield处暂停住。

  利用yield的特性,我们可以用来切换任务,当任务1暂停的时候,切换到任务2,当任务2暂停时,切换回任务1,如此循环。

  上面的代码中,有两个任务coroutine1和coroutine2,coroutine1和coroutine2中都有yield关键字,所以我们可以在coroutine1和coroutine2间来回切换执行。

  协程就是通过yield来实现多个任务之间的切换的。

  三、使用greenlet实现任务切换

  安装greenlet:

  pip install greenlet

  import greenlet

  import time

  def greenlet1():

  for i in range(3):

  print("-----greenlet1-----")

  time.sleep(1)

  g2.switch()

  def greenlet2():

  for i in range(3):

  print("-----greenlet2-----")

  time.sleep(1)

  g1.switch()

  g1 = greenlet.greenlet(greenlet1)

  g2 = greenlet.greenlet(greenlet2)

  # 切换到gr1中运行

  g1.switch()

  运行结果:

  -----greenlet1-----

  -----greenlet2-----

  -----greenlet1-----

  -----greenlet2-----

  -----greenlet1-----

  -----greenlet2-----

  python中的greenlet模块对yield切换任务的功能进行了封装,可以通过代码来切换任务。

  上面的代码中,我们写了两个函数greenlet1和greenlet2,在greenlet1中的代码执行完成后,通过switch()切换到greenlet2,greenlet2中的代码执行完成后,又通过switch()方法切换回greenlet1。这样就实现了任务的切换,我们要调用两个任务,只需要在主线程中先切换到greenlet1,程序就会在greenlet1和greenlet2之间来回切换执行。

  四、使用gevent实现协程

  安装gevent:

  pip install gevent

  import gevent

  import time

  def gevent_func():

  for i in range(3):

  print(gevent.getcurrent(), i)

  gevent.sleep(1)

  start = time.time()

  gevent_func()

  gevent_func()

  gevent_func()

  end = time.time()

  print('One coroutine: ', end - start)

  gevent_start = time.time()

  g1 = gevent.spawn(gevent_func,)

  g2 = gevent.spawn(gevent_func,)

  g3 = gevent.spawn(gevent_func, )

  g1.join()

  g2.join()

  g3.join()

  gevent_end = time.time()

  print('Multi coroutine: ', gevent_end - gevent_start)

  运行结果:

  0无锡妇科医院 Http://mobile.wxbhnkyy39.com/

  1

  2

  0

  1

  2

  0

  1

  2

  One coroutine: 9.023481130599976

  0

  0

  0

  1

  1

  1

  2

  2

  2

  Multi coroutine: 3.0032901763916016

  python中的gevent模块对greenlet模块进行了封装,实现了自动切换任务,实现了协程。

  其原理是当一个greenlet遇到io(input output输入输出)、阻塞(比如网络延迟、文件操作等)操作时,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

  由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

  上面的代码中,执行三次任务,任务是在同一个协程中执行的,耗时9秒多,当我们创建三个协程来执行任务时,耗时3秒多,说明使用多协程实现了多任务。

  这也是为什么前面使用yield和greenlet时只说是任务切换,因为yield和greenlet是把一个任务(包含耗时等待)执行完后再切换到另一个任务,所以只起到任务切换的作用。而使用gevent时,只要遇到等待就会自动切换到其他协程,可以跳过等待的时间。

  五、gevent的monkey补丁

  细心的您应该已经看到,上面我们使用gevent实现协程的代码中,不是使用time.sleep(1),而是使用的gevent.sleep(1)来模拟等待。

  因为在程序中有耗时操作时,需要将耗时操作的代码换为gevent中自己实现的模块,这样才能自动切换协程。

  但是,开发中代码比上面的例子复杂多了,我们尽量不要去修改之前的代码。所以gevent模块中提供了一个monkey补丁,帮我实现将耗时代码换成gevent自己实现的模块。

  import gevent

  from gevent import monkey

  import time

  monkey.patch_all()

  def gevent_func():

  for i in range(3):

  print(gevent.getcurrent(), i)

  time.sleep(1)

  gevent_start = time.time()

  g1 = gevent.spawn(gevent_func,)

  g2 = gevent.spawn(gevent_func,)

  g3 = gevent.spawn(gevent_func, )

  g1.join()

  g2.join()

  g3.join()

  gevent_end = time.time()

  print('Multi coroutine: ', gevent_end - gevent_start)

  运行结果:

  0

  0

  0

  1

  1

  1

  2

  2

  2

  Multi coroutine: 3.0212624073028564

  通过monkey补丁,即使代码里面使用的是time.sleep(1),在运行程序时,monkey补丁会帮我们自动更换。

  六、进程、线程、协程对比

  1.进程切换需要的资源最大,效率很低。

  2.线程切换需要的资源一般,效率一般,介于进程和协程之间(在不考虑GIL的情况下)。

  3.协程切换任务资源很小,效率高。


--结束END--

本文标题: Python使用gevent实现协程

本文链接: https://lsjlt.com/news/184185.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python使用gevent实现协程
      Python中多任务的实现可以使用进程和线程,也可以使用协程。  一、协程介绍  协程,又称微线程。英文名Coroutine。协程是Python语言中所特有的,在其他语言中没有。  协程是python中另外一种实现多任务的方式,比线程更...
    99+
    2023-01-31
    Python gevent
  • 怎么在Python中使用gevent实现协程
    怎么在Python中使用gevent实现协程?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和面向对象...
    99+
    2023-06-14
  • Python中gevent模块协程使用
    目录背景什么是协程?什么是 gevent?协程的例子Q&AQ:gevent 无法捕获的耗时A:猴子补丁实践异步 requests 请求gevent 的锁Tip背景 因为 Python 线程的性能问题,在 P...
    99+
    2022-06-02
    Python gevent协程 Python gevent
  • Python协程之Gevent
    协程,又称微线程,即为轻量级的线程。python中实现协程是基于Gevent模块,Gevent模块内部封装了greenlet模块;greenlet模块实现了在单线程中切换状态,Gevent模块在此之上还实现了遇到I/O操作自动切换,使程序运...
    99+
    2023-01-31
    Python Gevent
  • 多任务-----协程gevent的使用
    协程 一,迭代器iterable 能实现一定的数据,但是又不会占用很大的空间,协程切换任务资源小,效率高。如何判断某一类型是否可以迭代 from collections import Iterable


 print(isinstan...
    99+
    2023-01-31
    协程 gevent
  • Python中gevent模块协程怎么用
    这篇文章主要介绍Python中gevent模块协程怎么用,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!背景因为 Python 线程的性能问题,在 Python 中使用多线程运行代码经常不能达到预期的效果。而实际开发中...
    99+
    2023-06-20
  • Python中的协程(Coroutine)操作模块(greenlet、gevent)
    目录一、协程介绍1、介绍2、举例3、优点如下:4、缺点如下:5、总结协程特点:二、greenlet(绿叶)模块1、安装模块2、greenlet实现状态切换3、效率对比三、gevent...
    99+
    2024-04-02
  • Python协程怎么实现
    这篇文章主要讲解了“Python协程怎么实现”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python协程怎么实现”吧!1.协程协程不是计算机提供的,计算机只提供:进程、线程。协程时人工创造...
    99+
    2023-07-05
  • python中怎么实现协程
    这篇文章主要介绍了python中怎么实现协程的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇python中怎么实现协程文章都会有所收获,下面我们一起来看看吧。协程的定义协程(Coroutine),又称微线程,纤程...
    99+
    2023-06-29
  • 使用python怎么实现在协程中增加任务
    这篇文章主要介绍了使用python怎么实现在协程中增加任务,此处通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考价值,需要的朋友可以参考下:python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和面向...
    99+
    2023-06-06
  • Python的网络编程库Gevent的安装及使用技巧
    安装(以CentOS为例) gevent依赖libevent和greenlet: 1.安装libevent 直接yum install libevent 然后配置python的安装 2.安装easy_ins...
    99+
    2022-06-04
    使用技巧 网络编程 Python
  • Python用yieldfrom实现异步协程爬虫的实践
    目录一、什么是yield二、yield于列表的区别三、yield from 实现协程一、什么是yield 如果还没有怎么用过的话,直接把yield看做成一种特殊的return(PS:...
    99+
    2023-01-18
    Python yield from异步协程爬虫 Python 异步协程爬虫
  • Python中Async语法协程的实现
    目录前言1.传统的Sync语法请求例子2.异步的请求3.基于生成器的协程3.1生成器3.2用生成器实现协程前言 在io比较多的场景中, Async语法编写的程序会以更少的时...
    99+
    2024-04-02
  • Python协程中使用上下文
    在Python 3.7中,asyncio 协程加入了对上下文的支持。使用上下文就可以在一些场景下隐式地传递变量,比如数据库连接session等,而不需要在所有方法调用显示地传递这些变量。使用得当的话,可以提高接口的可读性和扩展性。 协和...
    99+
    2023-01-30
    上下文 Python 协程中
  • Python多进程协作模拟实现流程
    由于python多线程无法发挥多核的作用,因此当计算量很大的时候就需要考虑多进程。 只不过多进程比较麻烦一些,进程中通信向来是一件麻烦事。 python提供了multiprocess...
    99+
    2023-01-17
    Python多进程协作 Python多进程协作模拟
  • Golang使用协程实现批量获取数据
    目录使用channel使用WaitGroup应用到实践服务端经常需要返回一个列表,里面包含很多用户数据,常规做法当然是遍历然后读缓存。 使用Go语言后,可以并发获取,极大提升效率。 ...
    99+
    2023-02-07
    Golang协程批量获取数据 Golang批量获取数据 Golang 获取数据
  • 如何使用 Go 协程实现并行处理?
    如何使用 go 协程实现并行处理?创建协程并行计算斐波那契数列。协程通过 channel 传递数据,实现并行计算。主协程接收并处理并行计算的结果。 如何使用 Go 协程实现并行处理 协...
    99+
    2024-05-21
    协程 并行处理
  • python 多进程和协程配合使用
    有一批key已经写入到3个txt文件中,每一个txt文件有30万行记录。现在需要读取这些txt文件,判断key是否在数据仓库中。(redis或者mysql)为空的记录,需要写入到日志文件中! 任务分工1. 使用多进程技术,每一个进...
    99+
    2023-01-31
    进程 和协 python
  • Python协程的实现方式有哪些
    什么是协程在 Python 中,协程(Coroutine)是一种轻量级的并发编程方式,可以通过协作式多任务来实现高效的并发执行。使用 yield 关键字挂起函数的执行,以及保存当前执行状态,是协程的特殊之处。因此,协程可视为一种特殊的生成器...
    99+
    2023-05-20
    Python
  • 怎么在python中利用生成器实现协程
    这篇文章给大家介绍怎么在python中利用生成器实现协程,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言,其最初的设计是用于...
    99+
    2023-06-14
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作