返回顶部
首页 > 资讯 > 精选 >Netty、MINA、Twisted中线程模型的示例分析
  • 366
分享到

Netty、MINA、Twisted中线程模型的示例分析

2023-06-04 08:06:36 366人浏览 泡泡鱼
摘要

这篇文章主要介绍了Netty、MINA、Twisted中线程模型的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。要想开发一个高性能的tcp服务器,熟悉所使用框架的线程

这篇文章主要介绍了Netty、MINA、Twisted中线程模型的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

要想开发一个高性能的tcp服务器,熟悉所使用框架的线程模型非常重要。MINA、Netty、Twisted本身都是高性能的网络框架,如果再搭配上高效率的代码,才能实现一个高大上的服务器。但是如果不了解它们的线程模型,就很难写出高性能的代码。框架本身效率再高,程序写的太差,那么服务器整体的性能也不会太高。就像一个电脑,CPU再好,内存小硬盘慢散热差,整体的性能也不会太高。

玩过Android开发的同学会知道,在Android应用中有一个非常重要线程:UI线程(即主线程)。UI线程是负责一个Android的界面显示以及和用户交互。Activity的一些方法,例如onCreate、onStop、onDestroy都是运行在UI线程中的。但是在编写Activity代码的时候有一点需要非常注意,就是绝对不能把阻塞的或者耗时的任务写在这些方法中,如果写在这些方法中,则会阻塞UI线程,导致用户操作的界面反应迟钝,体验很差。所以在Android开发中,耗时或者阻塞的任务会另外开线程去做。

同样在MINA、Netty、Twisted中,也有一个非常重要的线程:IO线程

传统的Bio实现的TCP服务器,特别对于TCP长连接,通常都要为每个连接开启一个线程,线程也是操作系统的一种资源,所以很难实现高性能高并发。而异步IO实现的TCP服务器,由于IO操作都是异步的,可以用一个线程或者少量线程来处理大量连接的IO操作,所以只需要少量的IO线程就可以实现高并发的服务器。

网络编程过程中,通常有一些业务逻辑是比较耗时、阻塞的,例如数据库操作,如果网络不好,加上数据库性能差,sql不够优化,数据量大,一条SQL可能会执行很久。由于IO线程本身数量就不多,通常只有一个或几个,而如果这种耗时阻塞的代码在IO线程中运行的话,IO线程的其他事情,例如网络read和write,就无法进行了,会影响IO性能以及整个服务器的性能。

所以,无论是使用MINA、Netty、Twisted,如果有耗时的任务,就绝对不能在IO线程中运行,而是要另外开启线程来处理。

1. MINA

在MINA中,有三种非常重要的线程:Acceptor thread、Connector thread、I/O processor thread。

Acceptor thread:这个线程用于TCP服务器接收新的连接,并将连接分配到I/O processor thread,由I/O processor thread来处理IO操作。每个NIOSocketAcceptor创建一个Acceptor thread,线程数量不可配置。

Connector thread:用于处理TCP客户端连接到服务器,并将连接分配到I/O processor thread,由I/O processor thread来处理IO操作。每个NiOSocketConnector创建一个Connector thread,线程数量不可配置。

I/O processor thread:用于处理TCP连接的I/O操作,如read、write。I/O processor thread的线程数量可通过NioSocketAcceptor或NioSocketConnector构造方法来配置,默认是CPU核心数+1。

由于本文主要介绍TCP服务器的线程模型,所以就没有Connector thread什么事了。下面说下Acceptor thread和I/O processor thread处理TCP连接的流程:

MINA的TCP服务器包含一个Acceptor thread和多个I/O processor thread,当有新的客户端连接到服务器,首先会由Acceptor thread获取到这个连接,同时将这个连接分配给多个I/O processor thread中的一个线程,当客户端发送数据给服务器,对应的I/O processor thread负责读取这个数据,并执行IoFilterChain中的IoFilter以及IoHandle。

由于I/O processor thread本身数量有限,通常就那么几个,但是又要处理成千上万个连接的IO操作,包括read、write、协议的编码解码、各种Filter以及IoHandle中的业务逻辑,特别是业务逻辑,比如IoHandle的messageReceived,如果有耗时、阻塞的任务,例如查询数据库,那么就会阻塞I/O processor thread,导致无法及时处理其他IO事件,服务器性能下降。

针对这个问题,MINA中提供了一个ExecutorFilter,用于将需要执行很长时间的会阻塞I/O processor thread的业务逻辑放到另外的线程中,这样就不会阻塞I/O processor thread,不会影响IO操作。ExecutorFilter中包含一个线程池,默认是OrderedThreadPoolExecutor,这个线程池保证同一个连接的多个事件按顺序依次执行,另外还可以使用UnorderedThreadPoolExecutor,它不会保证同一连接的事件的执行顺序,并且可能会并发执行。二者之间可以根据需要来选择。

public class TcpServer {

 public static void main(String[] args) throws IOException {
   IoAcceptor acceptor = new NioSocketAcceptor(4); // 配置I/O processor thread线程数量
   acceptor.getFilterChain().addLast("codec", new ProtocolCodecFilter(new TextLineCodecFactory()));
   acceptor.getFilterChain().addLast("executor", new ExecutorFilter()); // 将TcpServerHandle中的业务逻辑拿到ExecutorFilter的线程池中执行
   acceptor.setHandler(new TcpServerHandle());
   acceptor.bind(new InetSocketAddress(8080));
 }

}

class TcpServerHandle extends IoHandlerAdapter {

 @Override
 public void messageReceived(IoSession session, Object message)
     throws Exception {

   // 假设这里有个变态的SQL要执行3秒
   Thread.sleep(3000);
 }
}

2. Netty

Netty的TCP服务器启动时,会创建两个NioEventLoopGroup,一个boss,一个worker:

EventLoopGroup bossGroup = new NioEventLoopGroup();  
EventLoopGroup workerGroup = new NioEventLoopGroup();

NioEventLoopGroup实际上是一个线程组,可以通过构造方法设置线程数量,默认为CPU核心数*2。boss用于服务器接收新的TCP连接,boss线程接收到新的连接后将连接注册到worker线程。worker线程用于处理IO操作,例如read、write。

Netty中的boss线程类似于MINA的Acceptor thread,work线程和MINA的I/O processor thread类似。不同的一点是MINA的Acceptor thread是单个线程,而Netty的boss是一个线程组。实际上Netty的ServerBootstrap可以监听多个端口号,如果只监听一个端口号,那么只需要一个boss线程即可,推荐将bossGroup的线程数量设置成1。

EventLoopGroup bossGroup = new NioEventLoopGroup(1);

当有新的TCP客户端连接到服务器,将由boss线程来接收连接,然后将连接注册到worker线程,当客户端发送数据到服务器,worker线程负责接收数据,并执行ChannelPipeline中的ChannelHandler。

和MINA的I/O processor thread 类似,Netty的worker线程本身数量不多,而且要实时处理IO事件,如果有耗时的业务逻辑阻塞住worker线程,例如在channelRead中执行一个耗时的数据库查询,会导致IO操作无法进行,服务器整体性能就会下降。

在Netty 3中,存在一个ExecutionHandler,它是ChannelHandler的一个实现类,用于处理耗时的业务逻辑,类似于MINA的ExecutorFilter,但是在Netty 4中被删除了。所以这里不再介绍ExecutionHandler。

Netty 4中可以使用EventExecutorGroup来处理耗时的业务逻辑:

public class TcpServer {

 public static void main(String[] args) throws InterruptedException {
   EventLoopGroup bossGroup = new NioEventLoopGroup(1); // 服务器监听一个端口号,boss线程数建议设置成1
   EventLoopGroup workerGroup = new NioEventLoopGroup(4); // worker线程数设置成4
   try {
     ServerBootstrap b = new ServerBootstrap();
     b.group(bossGroup, workerGroup)
         .channel(NioServerSocketChannel.class)
         .childHandler(new ChannelInitializer<SocketChannel>() {

           // 创建一个16个线程的线程组来处理耗时的业务逻辑
           private EventExecutorGroup group = new DefaultEventExecutorGroup(16);

           @Override
           public void initChannel(SocketChannel ch) throws Exception {
             ChannelPipeline pipeline = ch.pipeline();
             pipeline.addLast(new LineBasedFrameDecoder(80));
             pipeline.addLast(new StringDecoder(CharsetUtil.UTF_8));

             // 将TcpServerHandler中的业务逻辑放到EventExecutorGroup线程组中执行
             pipeline.addLast(group, new TcpServerHandler());
           }
         });
     ChannelFuture f = b.bind(8080).sync();
     f.channel().closeFuture().sync();
   } finally {
     workerGroup.shutdownGracefully();
     bossGroup.shutdownGracefully();
   }
 }

}

class TcpServerHandler extends ChannelInboundHandlerAdapter {

 @Override
 public void channelRead(ChannelHandlerContext ctx, Object msg) throws InterruptedException {

   // 假设这里有个变态的SQL要执行3秒
   Thread.sleep(3000);

 }
}

3.Twisted

Twisted的线程模型是最简单粗暴的:单线程,即reactor线程。也就是,所有的IO操作、编码解码、业务逻辑等都是在一个线程中执行。实际上,即使是单线程,其性能也是非常高的,可以同时处理大量的连接。在单线程的环境下编程,不需要考虑线程安全的问题。不过,单线程带来一个问题,就是耗时的业务逻辑,如果运行在Reactor线程中,那么其他事情,例如网络IO,就要等到reactor线程空闲时才能继续做,会影响到服务器的性能。

下面的代码,通过reactor.callInThread将耗时的业务逻辑放到单独的线程池中执行,而不在reactor线程中运行。这样就不会影响到reactor线程的网络IO了。可以通过reactor.suggestThreadPoolSize设置这个线程池的线程数量。

# -*- coding:utf-8 –*-

import time
from twisted.internet.protocol import Protocol
from twisted.internet.protocol import Factory
from twisted.internet import reactor

# 耗时、阻塞的业务逻辑
def logic(data):
   print data
   time.sleep(3) # 假设这里有个变态的SQL要执行3秒    

class TcpServerHandle(Protocol):

   def dataReceived(self, data):
       reactor.callInThread(logic, data) # 在线程池中运行logic(data)耗时任务,不在reactor线程中运行

reactor.suggestThreadPoolSize(8) # 设置线程池的线程数量为8

factory = Factory()
factory.protocol = TcpServerHandle
reactor.listenTCP(8080, factory)
reactor.run()

由于Twisted的reactor的单线程设计,它的很多代码都不是线程安全的。所以在非reactor线程中执行的代码需要注意线程安全问题。例如transport.write就不是线程安全的。不过在非reactor线程中可以调用reactor.callFromThread方法,这个方法功能和callInThread相反,将一个函数从别的线程放到reactor线程中运行。不过还是要注意,reactor.callFromThread调用的函数由于运行在reactor线程中,如果运行耗时,同样会阻塞reactor线程,影响IO。

# -*- coding:utf-8 –*-

import time
from twisted.internet.protocol import Protocol
from twisted.internet.protocol import Factory
from twisted.internet import reactor

# 非线程安全的代码
def notThreadSafe():
   print "notThreadSafe"

# 耗时、阻塞的业务逻辑
def logic(data):
   print data
   time.sleep(3) # 假设这里有个变态的SQL要执行3秒
   reactor.callFromThread(notThreadSafe) # 在reactor线程中运行notThreadSafe()


class TcpServerHandle(Protocol):

   def dataReceived(self, data):
       reactor.callInThread(logic, data) # 在线程池中运行logic(data)耗时任务,不在reactor线程中运行

reactor.suggestThreadPoolSize(8) # 设置线程池的线程数量为8

factory = Factory()
factory.protocol = TcpServerHandle
reactor.listenTCP(8080, factory)
reactor.run()

此外,twisted.internet.threads中提供了许多很方便的函数。例如threads.deferToThread用于将一个耗时任务放在线程池中执行,与reactor.callInThread不同的是,它的返回值是Deferred类型,可以通过添加回调函数,处理耗时任务完成后的结果(返回值)。

# -*- coding:utf-8 –*-

import time
from twisted.internet.protocol import Protocol
from twisted.internet.protocol import Factory
from twisted.internet import reactor, threads

# 耗时、阻塞的业务逻辑
def logic(data):
   print data
   time.sleep(3) # 假设这里有个变态的SQL要执行3秒
   return "success"

# 回调函数
def logicSuccess(result):
   # result即为logic函数的返回值,即"success"
   print result

class TcpServerHandle(Protocol):

   def dataReceived(self, data):
       d = threads.deferToThread(logic, data) # 将耗时的业务逻辑logic(data)放到线程池中运行,deferToThread返回值类型是Deferred
       d.addCallback(logicSuccess) # 添加回调函数

reactor.suggestThreadPoolSize(8) # 设置线程池的线程数量为8

factory = Factory()
factory.protocol = TcpServerHandle
reactor.listenTCP(8080, factory)
reactor.run()

感谢你能够认真阅读完这篇文章,希望小编分享的“Netty、MINA、Twisted中线程模型的示例分析”这篇文章对大家有帮助,同时也希望大家多多支持编程网,关注编程网精选频道,更多相关知识等着你来学习!

--结束END--

本文标题: Netty、MINA、Twisted中线程模型的示例分析

本文链接: https://lsjlt.com/news/237012.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Netty、MINA、Twisted中线程模型的示例分析
    这篇文章主要介绍了Netty、MINA、Twisted中线程模型的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。要想开发一个高性能的TCP服务器,熟悉所使用框架的线程...
    99+
    2023-06-04
  • Netty、MINA、Twisted中SSL/TLS的示例分析
    这篇文章主要介绍了Netty、MINA、Twisted中SSL/TLS的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。1. 相关术语在学习SSL/TLS协议之前,首先...
    99+
    2023-06-04
  • Node.js中多进程模型的示例分析
    这篇文章将为大家详细讲解有关Node.js中多进程模型的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Cluster 模块Node.js 提供了 Cluster ...
    99+
    2024-04-02
  • db2进程模型的示例分析
    这期内容当中小编将会给大家带来有关db2进程模型的示例分析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。DB2 进程技术模型 所有 DB2 数据库服务器使用的进程技术...
    99+
    2024-04-02
  • Python中线程池模块之多线程的示例分析
    这篇文章将为大家详细讲解有关Python中线程池模块之多线程的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1、线程池模块引入from concurrent.futures i...
    99+
    2023-06-15
  • HTML中盒模型的示例分析
    小编给大家分享一下HTML中盒模型的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!盒模型规定了元素框处理元素内容width与height值、内边距padding、边框border 和 外边距margin 的数值大小...
    99+
    2023-06-08
  • Tomcat中NIO模型的示例分析
    这篇文章给大家分享的是有关Tomcat中NIO模型的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、I/O复用模型解读Tomcat的NIO是基于I/O复用来实现的。对这点一定要清楚,不然我们的讨论就不在...
    99+
    2023-06-02
  • Java中单例模式与多线程的示例分析
    这篇文章主要介绍了Java中单例模式与多线程的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。单例模式与多线程单例模式就是全局唯一但是所有程序都可以使用的对象写单例模式...
    99+
    2023-06-20
  • swoole之进程模型的示例分析
    小编给大家分享一下swoole之进程模型的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!初识server一文的时候我们说过,swoole是事件驱动的。在使...
    99+
    2023-06-14
  • Java中线程的示例分析
    这篇文章主要介绍了Java中线程的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。什么是进程?电脑中时会有很多单独运行的程序,每个程序有一个独立的进程,而进程之间是相互...
    99+
    2023-06-25
  • 微信小程序开发框架MINA的示例分析
    这篇文章将为大家详细讲解有关微信小程序开发框架MINA的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。小程序MINA框架,及优点MINA框架:小程序使用的是MIN...
    99+
    2024-04-02
  • CSS中盒子模型的示例分析
    这篇文章主要为大家展示了“CSS中盒子模型的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“CSS中盒子模型的示例分析”这篇文章吧。 所有HTML元素可...
    99+
    2024-04-02
  • PHP中原型模式的示例分析
    这篇文章将为大家详细讲解有关PHP中原型模式的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。原型模式其实更形象的来说应该叫克隆模式。它主要的行为是对对象进行克隆,但是又把被克隆的对象称之为最初的原...
    99+
    2023-06-20
  • kubernetes中网络模型的示例分析
    这篇文章主要介绍kubernetes中网络模型的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!Kubernetes从Docker默认的网络模型中独立出来形成一套自己的网络模型。模型的基础原则是:每个Pod都拥...
    99+
    2023-06-04
  • css盒模型的示例分析
    小编给大家分享一下css盒模型的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧! 1.各种盒模型 inline-blo...
    99+
    2024-04-02
  • Flex应用程序模型的示例分析
    这篇文章主要介绍Flex应用程序模型的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!创建一个Flex应用程序Flex应用程序模型Flex创建一个应用程序时,你使用组件(容器/containers和控件/con...
    99+
    2023-06-17
  • java中多线程的示例分析
    这篇文章主要介绍了java中多线程的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。java多线程并发与并行:并行: 指两个或多个事件在同一时刻发生 ( 同时发生 ) ...
    99+
    2023-06-20
  • Java中线程池的示例分析
    小编给大家分享一下Java中线程池的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Java线程池线程的缺点:线程的创建它会开辟本地方法栈、JVM栈、程序计...
    99+
    2023-06-20
  • iOS中多线程的示例分析
    这篇文章给大家分享的是有关iOS中多线程的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、iOS的三种多线程技术NSThread–优点:NSThread 比其他两个轻量级,使用简单–缺点:需要自己管理线...
    99+
    2023-06-21
  • CSS中盒模型用法的示例分析
    CSS中盒模型用法的示例分析,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。视觉类型的媒体根据CSS的视觉格式化模型(Visual format...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作