浅谈servlet3异步原理与实践

一、什么是Servlet

servlet 是基于 Java 的 WEB 组件，由容器进行管理，来生成动态内容。像其他基于 Java 的组件技术一样，servlet 也是基于平台无关的 Java 类格式，被编译为平台无关的字节码，可以被基于 Java 技术的 Web 服务器动态加载并运行。容器（Container），有时候也叫做 servlet 引擎，是 Web 服务器为支持 servlet 功能扩展的部分。客户端通过 servlet 容器实现的 request/response paradigm（请求/应答模式） 与 Servlet 进行交互。

二、什么是Servlet规范

每当一个Servlet版本发布都会对应一个Servlet版本的规范，比如Servlet2.5、Servlet3.0、Servlet3.1.
规范中描述了Java Servlet api 的标准，定义了 Java Servlet API 中类、接口、方法签名的完整规范且附带的Javadoc 文档供开发人员查阅，目的主要是为Java Servlet 给出一个完整和清晰的解释。从下图可以看出Servlet规范版本和Tomcat支持的版本的对应关系。比如Servlet3是从tomcat7以后开始支持的。

Servlet和tomcat版本.png

三、同步，异步，阻塞，非阻塞

同步异步是数据通信的方式，阻塞和非阻塞是一种状态。比如同步这种数据通讯方式里面可以有阻塞状态也可以有非阻塞状态。

四、Servlet3的异步位置

这里说的位置是指，从tomcat处理整个request请求流程中，异步处于哪一步。我们先梳理出在NIO模式下(是否使用Nio跟异步没有直接关系，这里是拿NIO模式下的tomcat流程做说明)，下面这个图是tomcat的总体结构，里面用箭头标明了请求线路。

tomcat架构图.png

我们知道在tomcat的组件中Connector和Engine是最核心的两个组件，Servlet3的异步处理就是发生在Connector中。Tomcat的组件之间的协作关系，后续会单独写一篇文章介绍。这里先有一个直观的认识。便与后续对异步理解。

五、Servlet3的异步流程

Servlet异步处理流程图.png

接收到request请求之后，由tomcat工作线程从httpservletRequest中获得一个异步上下文AsyncContext对象，然后由tomcat工作线程把AsyncContext对象传递给业务处理线程，同时tomcat工作线程归还到工作线程池，这一步就是异步开始。在业务处理线程中完成业务逻辑的处理，生成response返回给客户端。在Servlet3.0中虽然处理请求可以实现异步，但是InputStream和OutputStream的IO操作还是阻塞的，当数据量大的request body 或者 response body的时候，就会导致不必要的等待。从Servlet3.1以后增加了非阻塞IO，需要tomcat8.x支持。

六、Servlet3的异步使用步骤

我们使用的大致步骤如下：

声明Servlet，增加asyncSupported属性，开启异步支持。@WebServlet(urlPatterns = "/AsyncLongRunningServlet", asyncSupported = true)
2、通过request获取异步上下文AsyncContext。AsyncContext asyncCtx = request.startAsync();
3、开启业务逻辑处理线程，并将AsyncContext 传递给业务线程。executor.execute(new AsyncRequestProcessor(asyncCtx, secs));
4、在异步业务逻辑处理线程中，通过asyncContext获取request和response，处理对应的业务。
5、业务逻辑处理线程处理完成逻辑之后，调用AsyncContext 的complete方法。asyncContext.complete();从而结束该次异步线程处理。

七、Servlet3的异步使用示例

1、AsyncLongRunningServlet.java 处理Servlet请求，并开启异步

package com.test.servlet3;import javax.servlet.AsyncContext;import javax.servlet.ServletException;import javax.servlet.annotation.WebServlet;import javax.servlet.Http.HttpServlet;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpServletResponse;import java.io.IOException;import java.util.concurrent.ThreadPoolExecutor;@WebServlet(urlPatterns = "/AsyncLongRunningServlet", asyncSupported = true)public class AsyncLongRunningServlet extends HttpServlet {  private static final long serialVersionUID = 1L;  protected void doGet(HttpServletRequest request,             HttpServletResponse response) throws ServletException, IOException {    long startTime = System.currentTimeMillis();    System.out.println("AsyncLongRunningServlet Start::Name="        + Thread.currentThread().getName() + "::ID="        + Thread.currentThread().getId());    request.setAttribute("org.apache.catalina.ASYNC_SUPPORTED", true);    String time = request.getParameter("time");    int secs = Integer.valueOf(time);    // max 10 seconds    if (secs > 10000)      secs = 10000;    AsyncContext asyncCtx = request.startAsync();    asyncCtx.addListener(new AppAsyncListener());    asyncCtx.setTimeout(9000);//异步servlet的超时时间,异步Servlet有对应的超时时间，如果在指定的时间内没有执行完操作，response依然会走原来Servlet的结束逻辑，后续的异步操作执行完再写回的时候，可能会遇到异常。    ThreadPoolExecutor executor = (ThreadPoolExecutor) request        .getServletContext().getAttribute("executor");    executor.execute(new AsyncRequestProcessor(asyncCtx, secs));    long endTime = System.currentTimeMillis();    System.out.println("AsyncLongRunningServlet End::Name="        + Thread.currentThread().getName() + "::ID="        + Thread.currentThread().getId() + "::Time Taken="        + (endTime - startTime) + " ms.");  }}