Reactive
简单同步模式的Producer:
示例代码:
@GetMapping(path = "/hello/{name}")
public String hello(@PathVariable(name = "name") String name){
return "hello " + name;
}
与此对应的处理流程如下:
这是传统典型的工作模型,核心思想是不阻塞网络线程,将业务放在独立的线程中处理(为了简化表达,executor中只画一个线程)
一般情况下,此模式问题不大。
嵌套同步调用:
不是所有的业务都是简单处理一下,就可以直接应答,可能还需要调用其他微服务.
示例代码:
public interface Intf{
String hello(String name);
}
@GetMapping(path = "/hello/{name}")
public String hello(@PathVariable(name = "name") String name){
return "from remote: hello " + intf.hello(name);
}
与此对应的处理流程如下:
根据这个流程的特点,可以看到会产生以下结果:
-
因为是同步调用,在“Other microservices”未应答之前“Microservice A”的调用线程一直处于阻塞等待状态,不处理任何其他事务
-
当Executor中所有线程都在等待远程应答时,所有新的请求都只能在Queue中排队,得不到处理,此时整个系统相当于停止工作了
-
要增加处理能力,只能增加Executor中的线程数,而操作系统并不能无限地增加线程数,事实上增加线程数带来的收益是一个抛物线模型,超出一定的临界值后,系统的处理能力其实会下降,而这个临界值并不会太大
-
当业务逻辑中,需要多次进行远程同步操作时,会更加恶化这个现象
嵌套同步调用的“错误”优化:
针对前一场景,有人会认为将“Invoke producer method”丢进另一个线程池,可以解决问题,包括以下处理方式:
-
在producer method打标注@Async,由AOP负责将对该方法的调用丢进其他线程池去
-
在producer method内部通过业务代码转移线程
形成以下流程:
根据这个流程的特点,可以看到会产生以下结果:
-
“Invoke producer method”必须立即返回,否则Executor线程还是得不到释放
-
“Invoke producer method”必须提供一个新的机制告知调用流程自己的返回值,不是最终返回值(当前没有这个机制)
-
虽然Executor线程释放了,但是Customer Executor,其实还是阻塞住,在等待远端应答,整个系统的阻塞状态并没有得到改变;而且还凭空多了一次线程切换
-
该机制看上去,唯一的作用,是释放了executor线程,让executor线程有机会处理其他请求,这相当于隔离仓的概念,处理速度慢的业务不要影响其他业务;但是这个概念serviceComb是可以直接支持的,可以配置指定的业务方法独占全新的executor,这样整个流程就跟“嵌套同步调用”完全一样,流程更简单,而不需要在“Invoke producer method”层次来做这个事情
纯Reactive机制
示例代码:
public interface Intf{
CompletableFuture<String> hello(String name);
}
@GetMapping(path = "/hello/{name}")
public CompletableFuture<String> hello(@PathVariable(name = "name") String name){
CompletableFuture<String> future = new CompletableFuture<>();
intf.hello(name).whenComplete((result, exception) -> {
if (exception == null) {
future.complete("from remote: " + result);
return;
}
future.completeExceptionally(exception);
});
return future;
}
与此对应的处理流程如下:
-
与传统流程不同的是,所有功能都在eventloop中执行,并不会进行线程切换
-
橙色箭头走完后,对本线程的占用即完成了,不会阻塞等待应答,该线程可以处理其他任务
-
当收到远端应答后,由网络数据驱动开始走红色箭头的应答流程
-
只要有任务,线程就不会停止,会一直执行任务,可以充分利用cpu资源,也不会产生多余的线程切换,去无谓地消耗cpu。
因为同步模式下,需要大量的线程来提升并发度,而大量的线程又带来线程切换的额外消耗。
测试数据表明,reactive模式,只需要消耗同步模式不到一半的cpu,即可达到或超过同步模式的tps,并且时延更低。
混合Reactive机制
Reactvie要求:所有在eventloop中执行的逻辑,不允许有任何的阻塞动作,包括不限于wait、sleep、巨大循环、同步查询DB等等。
serviceComb底层是基于vertx的,vertx生态中有jdbc、mq、zooKeeper等等各种丰富组件的reactive驱动,一般情况下都可以满足要求。
但是有的场景下,确实有的同步操作无法避免,比如:
-
私有的安全加固的redis,只提供了同步驱动
-
较复杂的业务运算
-
……
此时,可以将这些同步的逻辑抽取出来放到线程池中去处理,而其他部分仍然使用reactive的流程。
关于reactive的一些说明:
-
Producer:
-
producer是否使用reactive与consumer如何调用,没有任何联系
-
当operation返回值为CompletableFuture类型时,默认此operation工作于reactive模式,此时如果需要强制此operation工作于线程池模式,需要在microservice.yaml中明确配置;假设某operation,其schemaId为sid,operationId为asyncQuery,则需要进行以下配置:
servicecomb:
executors:
Provider:
sid.asyncQuery: cse.executor.groupThreadPool
这里的cse.executor.groupThreadPool是serviceComb内置的默认线程池,用户可以任意指定为自己的定制线程池。
-
Consumer:
-
consumer是否使用reactive与producer如何实现,没有任何联系
-
当前只支持透明RPC模式,使用JDK原生的CompletableFuture来承载此功能
completableFuture的when、then等等功能都可直接使用
但是completableFuture的async系列功能,其实是另外启线程池来执行功能,不建议使用
关于RxJava Observable的支持后续会加入
关于AsyncRestTemplate的支持后续会加入