理解协程及其在Python中的应用
1 协程
1.1协程的概念
协程,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程。(其实并没有说明白~)
我觉得单说协程,比较抽象,如果对线程有一定了解的话,应该就比较好理解了。
那么这么来理解协程比较容易:
线程是系统级别的,它们是由操作系统调度;协程是程序级别的,由程序员根据需要自己调度。我们把一个线程中的一个个函数叫做子程序,那么子程序在执行过程中可以中断去执行别的子程序;别的子程序也可以中断回来继续执行之前的子程序,这就是协程。也就是说同一线程下的一段代码<1>执行着执行着就可以中断,然后跳去执行另一段代码,当再次回来执行代码块<1>的时候,接着从之前中断的地方开始执行。
比较专业的理解是:
协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。
1.2 协程的优缺点
协程的优点:
(1)无需线程上下文切换的开销,协程避免了无意义的调度,由此可以提高性能(但也因此,程序员必须自己承担调度的责任,同时,协程也失去了标准线程使用多CPU的能力)
(2)无需原子操作锁定及同步的开销
(3)方便切换控制流,简化编程模型
(4)高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
协程的缺点:
(1)无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
(2)进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序
2 Python中如何实现协程
2.1 yield实现协程
前文所述“子程序(函数)在执行过程中可以中断去执行别的子程序;别的子程序也可以中断回来继续执行之前的子程序”,那么很容易想到Python的yield,显然yield是可以实现这种切换的。
使用yield实现协程操作例子:
1 #! /usr/bin/env python
2 # -*- coding:utf-8 -*-
3 # Author: "Zing-p"
4 # Date: 2017/5/12
5
6
7 def consumer(name):
8 print("要开始啃骨头了...")
9 while True:
10 print(" 33[31;1m[consumer] %s 33[0m " % name)
11 bone = yield
12 print("[%s] 正在啃骨头 %s" % (name, bone))
13
14
15 def producer(obj1, obj2):
16 obj1.send(None) # 启动obj1这个生成器,第一次必须用None <==> obj1.__next__()
17 obj2.send(None) # 启动obj2这个生成器,第一次必须用None <==> obj2.__next__()
18 n = 0
19 while n < 5:
20 n += 1
21 print(" 33[32;1m[producer] 33[0m 正在生产骨头 %s" % n)
22 obj1.send(n)
23 obj2.send(n)
24
25
26 if __name__ == '__main__':
27 con1 = consumer("消费者A")
28 con2 = consumer("消费者B")
29 producer(con1, con2)
运行的结果:
2.2 greenlet实现协程
Python的 greenlet就相当于手动切换,去执行别的子程序,在“别的子程序”中又主动切换回来。。。
greenlet协程例子:
1 #! /usr/bin/env python
2 # -*- coding:utf-8 -*-
3
4 from greenlet import greenlet
5 # greenlet 其实就是手动切换;gevent是对greenlet的封装,可以实现自动切换
6
7 def test1():
8 print("123")
9 gr2.switch() # 切换去执行test2
10 print("456")
11 gr2.switch() # 切换回test2之前执行到的位置,接着执行
12
13 def test2():
14 print("789")
15 gr1.switch() # 切换回test1之前执行到的位置,接着执行
16 print("666")
17
18
19 gr1 = greenlet(test1) # 启动一个协程 注意test1不要加()
20 gr2 = greenlet(test2) #
21 gr1.switch()
2.3 gevent 实现协程
Gevent 是一个第三方库,可以轻松通过gevent实现协程程,在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部,但它们被协作式地调度。
gevent会主动识别程序内部的IO操作,当子程序遇到IO后,切换到别的子程序。如果所有的子程序都进入IO,则阻塞。
协程之gevent例子:
1 #! /usr/bin/env python3
2 # -*- coding:utf-8 -*-
3
4 import gevent
5
6 def func1():
7 print("func1 running")
8 gevent.sleep(2) # 内部函数实现io操作
9 print("switch func1")
10
11 def func2():
12 print("func2 running")
13 gevent.sleep(1)
14 print("switch func2")
15
16 def func3():
17 print("func3 running")
18 gevent.sleep(0)
19 print("func3 done..")
20
21 gevent.joinall([gevent.spawn(func1),
22 gevent.spawn(func2),
23 gevent.spawn(func3),
24 ])
同步与异步性能区别:
1 import gevent
2
3 def task(pid):
4 """
5 Some non-deterministic task
6 """
7 gevent.sleep(0.5)
8 print('Task %s done' % pid)
9
10 def synchronous():
11 for i in range(1,10):
12 task(i)
13
14 def asynchronous():
15 threads = [gevent.spawn(task, i) for i in range(10)]
16 gevent.joinall(threads)
17
18 print('Synchronous:')
19 synchronous()
20
21 print('Asynchronous:')
22 asynchronous()
上面程序的重要部分是将task函数封装到greenlet内部线程的gevent.spawn
。 初始化的greenlet列表存放在数组threads
中,此数组被传给gevent.joinall
函数,后者阻塞当前流程,并执行所有给定的greenlet。执行流程只会在 所有greenlet执行完后才会继续向下走。
遇到Io阻塞时会切换任务之【爬虫版】
1 #! /usr/bin/env python3
2 # -*- coding:utf-8 -*-
3
4 from urllib import request
5 import gevent,time
6 from gevent import monkey
7
8 monkey.patch_all() # 把当前程序中的所有io操作都做上标记
9
10 def spider(url):
11 print("GET:%s" % url)
12 resp = request.urlopen(url)
13 data = resp.read()
14 print("%s bytes received from %s.." % (len(data), url))
15
16 urls = [
17 "https://www.python.org/",
18 "https://www.yahoo.com/",
19 "https://github.com/"
20 ]
21
22 start_time = time.time()
23 for url in urls:
24 spider(url)
25 print("同步耗时:",time.time() - start_time)
26
27 async_time_start = time.time()
28 gevent.joinall([
29 gevent.spawn(spider,"https://www.python.org/"),
30 gevent.spawn(spider,"https://www.yahoo.com/"),
31 gevent.spawn(spider,"https://github.com/"),
32 ])
33 print("异步耗时:",time.time() - async_time_start)
34
35 # 最好爬国外网站吧
通过gevent实现【单线程】下的多socket并发
server端:
1 import sys
2 import socket
3 import time
4 import gevent
5
6 from gevent import socket,monkey
7 monkey.patch_all()
8
10 def server(port):
11 s = socket.socket()
12 s.bind(('0.0.0.0', port))
13 s.listen(500)
14 while True:
15 cli, addr = s.accept()
16 gevent.spawn(handle_request, cli)
17
19 def handle_request(conn):
20 try:
21 while True:
22 data = conn.recv(1024)
23 print("recv:", data)
24 conn.send(data)
25 if not data:
26 conn.shutdown(socket.SHUT_WR)
27
28 except Exception as ex:
29 print(ex)
30 finally:
31 conn.close()
32 if __name__ == '__main__':
33 server(9999)
client端:
1 import socket
2
3 HOST = 'localhost' # The remote host
4 PORT = 9999 # The same port as used by the server
5 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
6 s.connect((HOST, PORT))
7 while True:
8 msg = bytes(input(">>:"),encoding="utf8")
9 s.sendall(msg)
10 data = s.recv(1024)
11 #print(data)
12
13 print('Received', repr(data))
14 s.close()
觉得将就点个赞~~
推荐阅读
-
贪婪算法在 Python、JavaScript、Java、C++ 和 C# 中的多种实现及其在硬币变化、分数骑士、活动选择和使用哈夫曼编码的最小生成树问题中的应用实例
-
连体网络孪生神经网络及其在医疗场景中的应用
-
python 数据分析在电力行业中的应用 python 电影数据分析报告
-
脚本开发和自动运行 ----shell 脚本开发及其在 DevOps 中的应用!
-
NeurIPS 2022 | 最强斗地主AI!网易互娱AI Lab提出基于完美信息蒸馏的方法-完美信息蒸馏(PTIE) 在斗地主游戏中,非完美信息的引入主要是由于三位玩家均不能看到别人的手牌,对于任意一位玩家而言,仅可知道其余两位玩家当前手牌的并集,而难于精准判断每位玩家当前手牌。完美信息蒸馏的思路是针对这种非完美问题,构建一个第三方角色,该角色可以看到三位玩家的手牌,该角色在不告知每位玩家完美信息的情况下通过信息蒸馏的方式引导玩家打出当前情况下合理的出牌。 以强化学习常用的 Actor-Critic 算法为例,PTIE 在 Actor-Critic 算法的应用中可以利用 Critic 的 Value 输出作为蒸馏手段来提升 Actor 的表现。具体而言即在训练中 Critic 的输入为完美信息(包含所有玩家的手牌信息),Actor 的输入为非完美信息(仅包含自己手牌信息),此种情况下 Critic 给予的 Value 值包含了完美信息,可以更好地帮助 Actor 学习到更好的策略。 从更新公式上来看,正常的 Actor-Critic 算法 Actor 更新的方式如下: 在 PTIE 模式下,对于每个非完美信息状态 h,我们可以在 Critic 中构建对应的完美信息状态 D(h),并用 Critic 的输出来更新 Actor 的策略梯度,从而达到完美信息蒸馏的效果。 PTIE 框架的整体结构如下图所示: 无论是训练还是执行过程中智能体都不会直接使用完美信息,在训练中通过蒸馏将完美信息用于提升策略,从而帮助智能体达到一个更高的强度。 PTIE 的另一种蒸馏方式是将完美信息奖励引入到奖励值函数的训练中,PerfectDou 提出了基于阵营设计的完美信息奖励 node reward,以引导智能体学习到斗地主游戏中的合作策略,其定义如下: 如上所示,完美信息部分 代表 t 时刻地主手牌最少几步可以出完,在斗地主游戏中可以近似理解为是距游戏获胜的距离, 代表 t 时刻地主阵营和农民阵营距游戏获胜的距离之差, 为调节系数。通过此种奖励设计,在训练时既可以一定程度地引入各玩家的手牌信息(出完的步数需要知道具体手牌才能计算),同时也鼓励农民以阵营的角度做出决策,提升农民的合作性。 特征构建: PerfectDou 针对牌类游戏的特点主要构建了两部分特征:牌局状态特征和动作特征。其中牌局状态特征主要包括当前玩家手牌牌型特征、当前玩家打出的卡牌牌型特征、玩家角色、玩家手牌数目等常用特征,动作特征主要用于刻画当前状态下玩家的所有可能出牌,包括了每种出牌动作的牌型特征、动作的卡牌数目、是否为最大动作等特征。 牌型特征为 12 * 15 的矩阵,如下图所示: 该矩阵前 4 行代表对应每种卡牌的张数,5-12 行代表该种卡牌的种类和对应位置。 网络结构和动作空间设计 针对斗地主游戏出牌组合数较多的问题,PerfectDou 基于 RLCard 的工作上对动作空间进行了简化,对占比最大的两个出牌牌型:飞机带翅膀和四带二进行了动作压缩,将整体动作空间由 27472 种缩减到 621 种。 PerfectDou 策略网络结构如下图所示: 策略网络结构同样分为两部分:状态特征部分和动作特征部分。 在状态特征部分,LSTM 网络用于提取玩家的历史行为特征,当前牌局状态特征和提取后的行为特征会再通过多层的 MLP 网络输出当前的状态信息 embedding。 在动作特征部分,每个可行动作同样会经过多层 MLP 网络进行编码,编码后的动作特征会与其对应的状态信息 embedding 经过一层 MLP 网络计算两者间的相似度,并经由 softmax 函数输出对应的动作概率。 实验结果
-
openEuler郑州用户组成立!openEuler与hyperfusion携手共建河南地区用户生态 - 开幕致辞 超融合操作系统业务总经理、openEuler委员会成员蒋振华先生为本次活动致辞。 在本次活动的致辞中,他提到,作为openEuler社区早期的成员,超融合见证了openEuler从成立到在各行业商业落地,再到跨越生态拐点的过程,感谢openEuler提供了一个全产业链共同创新的平台,共同推动创新技术的商业落地。 同时,本次活动得到了郑州市郑东新区大数据管理局、郑州中原科技城投资服务局的大力支持。 郑东新区大数据管理局曹光远 在活动致辞中表示,openEuler的应用和*应用设施的深度优化,为郑东新区数字化转型提供了安全、可靠、高性能的技术基础;郑州中原科技城招商服务局王林表示,郑东新区欢迎所有openEuler生态相关企业扎根当地,围绕openEuler社区共同发展,形成合力。 openEuler社区及运维功能介绍 openEuler技术委员会委员胡峰 openEuler技术委员会委员胡峰先生在本次活动中介绍了openEuler社区目前发展的整体情况,并重点从技术层面介绍了openEuler的运维功能。 openEuler 晚会 胡峰先生介绍智能运维工具 A-Ops 和 openEuler gala、 阿波罗 Apollo、智能漏洞管理解决方案等新功能,以及涵盖各种运维场景的精品运维组件。在*交流环节,许多用户就目前使用的 openEuler 在*交流环节,许多用户就自己在使用openEuler过程中遇到的一些问题与胡峰先生进行了进一步的交流。 软硬结合,构建多样化算力操作系统 Hyperfusion 基于 openEuler 的基础上,结合自身软硬件技术积累,推出了富讯服务器操作系统 FusionOS FusionOS. FusionOS 首席架构师张海亮 分享了 FusionOS FusionOS首席架构师张海亮分享了FusionOS的软硬件协同优势、卓越的性能和可靠性,以及FusionOS在金融、运营商、*、互联网等行业的实践案例,引起了众多用户的兴趣,分享结束后,不少参会者就FusionOS的特点向讲师提问并进行了交流。
-
了解可用性测试及其在商业应用中的重要性
-
C++ 虚拟函数详解:多态性实现原理及其在面向对象编程中的应用
-
概率论中的常见分布摘要及在 python 中的应用
-
Dagre 算法简介及其在自动流程图布局中的应用