Python 的并发异步 IO (asyncio) 解读 - I. 并发程序介绍
最编程
2024-06-09 09:45:48
...
1.1 定义
协程不是系统级线程，很多时候协程被称为“轻量级线程”、“微线程”、“纤程(fiber)”等。简单来说可以认为协程是线程里不同的函数，这些函数之间可以相互快速切换。
协程和用户态线程非常接近，用户态线程之间的切换不需要陷入内核，但部分操作系统中用户态线程的切换需要内核态线程的辅助。
协程是编程语言（或者 lib）提供的特性（协程之间的切换方式与过程可以由编程人员确定），是用户态操作。协程适用于 IO 密集型的任务。常见提供原生协程支持的语言有：c++20、golang、python 等，其他语言以库的形式提供协程功能，比如 C++20 之前腾讯的 fiber 和 libco 等等。
1.2 分类
协程有两种，一种无栈协程，python中以 asyncio 为代表， 一种有栈协程，python 中 以 gevent 为代表，本文主要讲解 asyncio 线程。
| 有栈线程 |
无栈线程 |
备注 |
|
|---|---|---|---|
| 例子： |
lua thread python gevent |
C# yield return C# async\await python asyncio |
无 |
| 是否拥有单独的上下文： |
是 | 否 | 上下文包括寄存器、栈帧 |
| 局部变量保存位置： |
栈 | 堆 | 无栈协程的局部变量保存在堆上，比如generator的数据成员。 |
| 优点： |
1. 每个协程有单独的上下文，可以在任意的嵌套函数中任何地方挂起此协程。 2. 不需要编译器做语法支持，通过汇编指令即可实现 |
1. 不需要为每个协程保存单独的上下文，内存占用低。 2. 切换成本低，性能更高。 |
无 |
| 缺点： |
1. 需要提前分配一定大小的堆内存保存每个协程上下文，所以会出现内存浪费或者栈溢出。 2. 上下文拷贝和切换成本高，性能低于无栈协程。 |
1. 需要编译器提供语义支持，比如C# yield return语法糖。 2. 只能在这个生成器内挂起此协程，无法在嵌套函数中挂起此协程。 3. 关键字有一定传染性，异步代码必须都有对应的关键字。作为对比，有栈协程只需要做对应的函数调用。 |
无栈协程无法在嵌套函数中挂起此协程，有栈协程由于是通过保存和切换上下文包括寄存器和执行栈实现，可以在协程函数的嵌套函数内部yield这个协程并唤醒。 |
推荐阅读
-
异步编程RxJava-介绍-前言 前段时间写了一篇对协程的一些理解，里面提到了不管是协程还是callback，本质上其实提供的是一种异步无阻塞的编程模式；并且介绍了java中对异步无阻赛这种编程模式的支持，主要提到了Future和CompletableFuture；之后有同学在下面留言提到了RxJava，刚好最近在看微服务设计这本书，里面提到了响应式扩展(Reactive extensions,Rx)，而RxJava是Rx在JVM上的实现，所有打算对RxJava进一步了解。 RxJava简介 RxJava的官网地址：https://github.com/ReactiveX/RxJava， 其中对RxJava进行了一句话描述：RxJava – Reactive Extensions for the JVM – a library for composing asynchronous and event-based programs using observable sequences for the Java VM. 大意就是：一个在Java VM上使用可观测的序列来组成异步的、基于事件的程序的库。 更详细的说明在Netflix技术博客的一篇文章中描述了RxJava的主要特点： 1.易于并发从而更好的利用服务器的能力。 2.易于有条件的异步执行。 3.一种更好的方式来避免回调地狱。 4.一种响应式方法。 与CompletableFuture对比 之前提到CompletableFuture真正的实现了异步的编程模式，一个比较常见的使用场景： CompletableFuture<Integer> future = CompletableFuture.supplyAsync(耗时函数); Future<Integer> f = future.whenComplete((v, e) -> { System.out.println(v); System.out.println(e); }); System.out.println("other..."); 下面用一个简单的例子来看一下RxJava是如何实现异步的编程模式： Observable<Long> observable = Observable.just(1, 2) .subscribeOn(Schedulers.io).map(new Func1<Integer, Long> { @Override public Long call(Integer t) { try { Thread.sleep(1000); //耗时的操作 } catch (InterruptedException e) { e.printStackTrace; } return (long) (t * 2); } }); observable.subscribe(new Subscriber<Long> { @Override public void onCompleted { System.out.println("onCompleted"); } @Override public void onError(Throwable e) { System.out.println("error" + e); } @Override public void onNext(Long result) { System.out.println("result = " + result); } }); System.out.println("other..."); Func1中以异步的方式执行了一个耗时的操作，Subscriber(观察者)被订阅到Observable(被观察者)中，当耗时操作执行完会回调Subscriber中的onNext方法。 其中的异步方式是在subscribeOn(Schedulers.io)中指定的，Schedulers.io可以理解为每次执行耗时操作都启动一个新的线程。 结构上其实和CompletableFuture很像，都是异步的执行一个耗时的操作，然后在有结果的时候主动告诉我结果。那我们还需要RxJava干嘛，不知道你有没有注意，上面的例子中其实提供2条数据流[1,2]，并且处理完任何一个都会主动告诉我，当然这只是它其中的一项功能，RxJava还有很多好用的功能，在下面的内容会进行介绍。 异步观察者模式 上面这段代码有没有发现特别像设计模式中的：观察者模式；首先提供一个被观察者Observable，然后把观察者Subscriber添加到了被观察者列表中； RxJava中一共提供了四种角色：Observable、Observer、Subscriber、Subjects Observables和Subjects是两个被观察者，Observers和Subscribers是观察者； 当然我们也可以查看一下源码，看一下jdk中的Observer和RxJava的Observer jdk中的Observer： public interface Observer { void update(Observable o, Object arg); } RxJava的Observer: public interface Observer<T> { void onCompleted; void onError(Throwable e); void onNext(T t); } 同时可以发现Subscriber是implements Observer的： public abstract class Subscriber<T> implements Observer<T>, Subscription 可以发现RxJava中在Observer中引入了2个新的方法：onCompleted和onError onCompleted：即通知观察者Observable没有更多的数据，事件队列完结 onError:在事件处理过程中出异常时，onError会被触发,同时队列自动终止，不允许再有事件发出。 正是因为RxJava提供了同步和异步两种方式进行事件的处理，个人觉得异步的方式更能体现RxJava的价值，所以这里给他命名为异步观察者模式。 好了，下面正式介绍RxJava的那些灵活的操作符，这里仅仅是简单的介绍和简单的实例，具体用在什么场景下，会在以后的文章中介绍 Maven引入
-
Python 的并发异步 IO (asyncio) 解读 - I. 并发程序介绍
-
了解并开始使用 Python 中的并发异步 IO (asyncio)