返回顶部
首页 > 资讯 > 后端开发 > Python >基于Java在netty中实现线程和CPU绑定
  • 284
分享到

基于Java在netty中实现线程和CPU绑定

2024-04-02 19:04:59 284人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

目录简介引入affinityAffinityThreadFactory在Netty中使用AffinityThreadFactory总结简介 使用java thread affinit

简介

使用java thread affinity库我们可以将线程绑定到特定的CPU或者CPU核上,通过减少线程在CPU之间的切换,从而提升线程执行的效率。

虽然netty已经够优秀了,但是谁不想更加优秀一点呢?于是一个想法产生了,那就是能不能把affinity库用在netty中呢?答案是肯定的,一起来看看吧。

引入affinity

affinity是以jar包的形式提供出去的,目前最新的正式版本是3.20.0,所以我们需要这样引入:

<!-- https://mvnrepository.com/artifact/net.openhft/affinity -->
<dependency>
    <groupId>net.openhft</groupId>
    <artifactId>affinity</artifactId>
    <version>3.20.0</version>
</dependency>

引入affinity之后,会在项目的依赖库中添加一个affinity的lib包,这样我们就可以在netty中愉快的使用affinity了。

AffinityThreadFactory

有了affinity,怎么把affinity引入到netty中呢?

我们知道affinity是用来控制线程的,也就是说affinity是跟线程有关的。而netty中跟线程有关的就是EventLoopGroup,先看一下netty中EventLoopGroup的基本用法,这里以NIOEventLoopGroup为例,NioEventLoopGroup有很多构造函数的参数,其中一种是传入一个ThreadFactory:

    public NioEventLoopGroup(ThreadFactory threadFactory) {
        this(0, threadFactory, SelectorProvider.provider());
    }

这个构造函数表示NioEventLoopGroup中使用的线程都是由threadFactory创建而来的。这样以来我们就找到了netty和affinity的对应关系。只需要构造affinity的ThreadFactory即可。

刚好affinity中有一个AffinityThreadFactory类,专门用来创建affinity对应的线程。

接下来我们来详细了解一下AffinityThreadFactory。

AffinityThreadFactory可以根据提供的不同AffinityStrategy来创建对应的线程。AffinityStrategy表示的是线程之间的关系。

在affinity中,有5种线程关系,分别是:

  •  SAME_CORE - 线程会运行在同一个CPU core中。
  •  SAME_Socket - 线程会运行在同一个CPU socket中,但是不在同一个core上。
  •  DIFFERENT_SOCKET - 线程会运行在不同的socket中。
  •  DIFFERENT_CORE - 线程会运行在不同的core上。
  • ANY - 只要是可用的CPU资源都可以。

这些关系是通过AffinityStrategy中的matches方法来实现的:

boolean matches(int cpuId, int cpuId2);

matches传入两个参数,分别是传入的两个cpuId。

我们以SAME_CORE为例来看看这个mathes方法到底是怎么工作的:

    SAME_CORE {
        @Override
        public boolean matches(int cpuId, int cpuId2) {
            CpuLayout cpuLayout = AffinityLock.cpuLayout();
            return cpuLayout.socketId(cpuId) == cpuLayout.socketId(cpuId2) &&
                    cpuLayout.coreId(cpuId) == cpuLayout.coreId(cpuId2);
        }
    }

可以看到它的逻辑是先获取当前CPU的layout,CpuLayout中包含了cpu个数,sockets个数,每个sockets的cpu核数等基本信息。

并且提供了三个方法根据给定的cpuId返回对应的socket、core和thread信息:

    int socketId(int cpuId);
    int coreId(int cpuId);
    int threadId(int cpuId);

matches方法就是根据传入的cpuId找到对应的socket,core信息进行比较,从而生成了5中不同的策略。

先看一下AffinityThreadFactory的构造函数:

    public AffinityThreadFactory(String name, boolean daemon, @NotNull AffinityStrategy... strategies) {
        this.name = name;
        this.daemon = daemon;
        this.strategies = strategies.length == 0 ? new AffinityStrategy[]{AffinityStrategies.ANY} : strategies;
    }

可以传入thread的name前缀,和是否是守护线程,最后如果strategies不传的话,默认使用的是AffinityStrategies.ANY策略,也就是说为线程分配任何可以绑定的CPU。

接下来看下这个ThreadFactory是怎么创建新线程的:

public synchronized Thread newThread(@NotNull final Runnable r) {
        String name2 = id <= 1 ? name : (name + '-' + id);
        id++;
        Thread t = new Thread(new Runnable() {
            @Override
            public void run() {
                try (AffinityLock ignored = acquireLockBasedOnLast()) {
                    r.run();
                }
            }
        }, name2);
        t.setDaemon(daemon);
        return t;
    }
    private synchronized AffinityLock acquireLockBasedOnLast() {
        AffinityLock al = lastAffinityLock == null ? AffinityLock.acquireLock() : lastAffinityLock.acquireLock(strategies);
        if (al.cpuId() >= 0)
            lastAffinityLock = al;
        return al;
    }

从上面的代码可以看出,创建的新线程会以传入的name为前缀,后面添加1,2,3,4这种后缀。并且根据传入的是否是守护线程的标记,将调用对应线程的setDaemon方法。

重点是Thread内部运行的Runnable内容,在run方法内部,首先调用acquireLockBasedOnLast方法获取lock,在获得lock的前提下运行对应的线程方法,这样就会将当前运行的Thread和CPU进行绑定。

从acquireLockBasedOnLast方法中,我们可以看出AffinityLock实际上是一个链式结构,每次请求的时候都调用的是lastAffinityLock的acquireLock方法,如果获取到lock,则将lastAffinityLock进行替换,用来进行下一个lock的获取。

有了AffinityThreadFactory,我们只需要在netty的使用中传入AffinityThreadFactory即可。

在netty中使用AffinityThreadFactory

上面讲到了要在netty中使用affinity,可以将AffinityThreadFactory传入EventLoopGroup中。对于netty server来说可以有两个EventLoopGroup,分别是acceptorGroup和workerGroup,在下面的例子中我们将AffinityThreadFactory传入workerGroup,这样后续work中分配的线程都会遵循AffinityThreadFactory中配置的AffinityStrategies策略,来获得对应的CPU:

//建立两个EventloopGroup用来处理连接和消息
        EventLoopGroup acceptorGroup = new NioEventLoopGroup(acceptorThreads);
        //创建AffinityThreadFactory
        ThreadFactory threadFactory = new AffinityThreadFactory("affinityWorker", AffinityStrategies.DIFFERENT_CORE,AffinityStrategies.DIFFERENT_SOCKET,AffinityStrategies.ANY);
        //将AffinityThreadFactory加入workerGroup
        EventLoopGroup workerGroup = new NioEventLoopGroup(workerThreads,threadFactory);
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(acceptorGroup, workerGroup)
                    .channel(NiOServerSocketChannel.class)
                    .childHandler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        public void initChannel(SocketChannel ch) throws Exception {
                            ch.pipeline().addLast(new AffinityServerHandler());
                        }
                    })
                    .option(ChannelOption.SO_BACKLOG, 128)
                    .childOption(ChannelOption.SO_KEEPALIVE, true);

            // 绑定端口并开始接收连接
            ChannelFuture f = b.bind(port).sync();

            // 等待server socket关闭
            f.channel().closeFuture().sync();
        } finally {
            //关闭group
            workerGroup.shutdownGracefully();
            acceptorGroup.shutdownGracefully();
        }

为了获取更好的性能,Affinity还可以对CPU进行隔离,被隔离的CPU只允许执行本应用的线程,从而获得更好的性能。

要使用这个特性需要用到linux的isolcpus。这个功能主要是将一个或多个CPU独立出来,用来执行特定的Affinity任务。

isolcpus命令后面可以接CPU的ID,或者可以修改/boot/grub/grub.conf文件,添加要隔离的CPU信息如下:

isolcpus=3,4,5

总结

affinity可以对线程进行极致管控,对性能要求严格的朋友可以试试,但是在使用过程中需要选择合适的AffinityStrategies,否则可能会得不到想要的结果。

到此这篇关于基于Java在netty中实现线程和CPU绑定的文章就介绍到这了,更多相关 线程和CPU绑定内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: 基于Java在netty中实现线程和CPU绑定

本文链接: https://lsjlt.com/news/149136.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 基于Java在netty中实现线程和CPU绑定
    目录简介引入affinityAffinityThreadFactory在netty中使用AffinityThreadFactory总结简介 使用java thread affinit...
    99+
    2024-04-02
  • java基于UDP实现在线聊天功能
    本文实例为大家分享了java基于UDP实现在线聊天的具体代码,供大家参考,具体内容如下 效果图: 一、学习UDP的简单使用步骤 接收端: DatagramSocket socke...
    99+
    2024-04-02
  • Java基于Swing和netty实现仿QQ界面聊天小项目
    目录1.前言2.功能实现3.模块划分4.使用的知识5.部分代码实现1.nettyController.java2.ClientHandler.java3.linkmen.java4....
    99+
    2024-04-02
  • 基于C#实现端口扫描器(单线程和多线程)
    目录一、新建项目并设置界面二、单线程实现端口扫描1. 编写代码2. 运行结果三、多线程实现端口扫描1. 编写代码2. 运行结果四、总结一、新建项目并设置界面 新建项目: 选择Wind...
    99+
    2024-04-02
  • android studio如何绑定服务和线程实现计时器
    这篇文章主要介绍了android studio如何绑定服务和线程实现计时器,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。实验目的:熟悉和掌握Android线程的使用...
    99+
    2023-06-22
  • android studio项目:绑定服务和线程实现计时器
    实验目的: 熟悉和掌握Android线程的使用 实验要求: 1.完成一个秒表,具备启停功能2.通过绑定服务实现功能,通过Thread+handler更新界面 这章节没花什么时间去学,...
    99+
    2024-04-02
  • 如何在 Laravel 中实现基于 Java 和 JavaScript 对象的开发?
    Laravel是一个流行的PHP框架,它为开发人员提供了许多功能强大的工具和库,以便于在Web应用程序中快速构建功能。在本文中,我们将探讨如何在Laravel中实现基于Java和JavaScript对象的开发。 首先,我们需要了解一些基本概...
    99+
    2023-09-22
    javascript 对象 laravel
  • 如何在Java API中实现基于Spring的响应式编程?
    响应式编程是一种以数据流和变化传播为基础的编程模型,它通过异步编程来提高应用程序的响应能力和并发性。Spring框架从4.0版本开始引入了对响应式编程的支持,使得基于Spring的应用程序可以更好地应对高并发和高吞吐的场景。本文将介绍如何在...
    99+
    2023-09-21
    api spring 响应
  • 基于java微信小程序在线视频学习系统设计与实现
    开发概要 小程序开发:微信开发者工具(MINA框架) 后台环境:JDK1.8 + Tomcat8 后台开发语言:Java 后台开发框架:springboot 后台模板引擎:Thymeleaf 后台开发工具:Idea2020 ...
    99+
    2023-09-06
    微信小程序 java 学习 Powered by 金山文档
  • Java中线程池自定义如何实现
    这篇“Java中线程池自定义如何实现”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Java中线程池自定义如何实现”文章吧。线...
    99+
    2023-07-05
  • Java中线程池自定义实现详解
    目录前言线程为什么不能多次调用start方法线程池到底是如何复用的前言 最初使用线程池的时候,网上的文章告诉我说线程池可以线程复用,提高线程的创建效率。从此我的脑海中便为线程池打上了...
    99+
    2023-03-01
    Java线程池自定义 Java线程池
  • 怎么在java中实现线程通信
    本篇文章给大家分享的是有关怎么在java中实现线程通信,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。Java是什么Java是一门面向对象编程语言,可以编写桌面应用程序、Web应...
    99+
    2023-06-14
  • 怎么在Java中实现多线程排序
    这期内容当中小编将会给大家带来有关怎么在Java中实现多线程排序,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。java基本数据类型有哪些Java的基本数据类型分为:1、整数类型,用来表示整数的数据类型。2...
    99+
    2023-06-14
  • 怎么在java中实现线程间通信
    这篇文章将为大家详细讲解有关怎么在java中实现线程间通信,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。线程间通信:由于多线程共享地址空间和数据空间,所以多个线程间的通信是一个线程的数据可以...
    99+
    2023-05-30
    java
  • 基于Java+Springboot+vue在线版权登记管理系统设计实现
    博主介绍:✌全网粉丝30W+,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联...
    99+
    2023-09-06
    java 开发语言 版权管理系统 vue-element spring boot
  • 在Java中实现让线程按照自己指定的顺序执行
    目录如何让线程按照自己指定的顺序执行认识Join利用Executors线程池线程的优先级及执行顺序优先级概述使用优先级如何让线程按照自己指定的顺序执行 我们在日常的多线程开发中,可能...
    99+
    2024-04-02
  • 怎么在Java项目中实现一个动态与静态绑定
    本篇文章为大家展示了怎么在Java项目中实现一个动态与静态绑定,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Java的动态绑定所谓的动态绑定就是指程执行期间(而不是在编译期间)判断所引用对象的实际类...
    99+
    2023-05-31
    java 动态绑定 静态绑定
  • 基于Java+SpringBoot+Thymeleaf+Mysql在线购物网站商城系统设计实现
    项目背景和意义 目的:伴随着互联网技术的不断发展和完善,在人们的生活和工作的各个方面,互联网都有着非常重大的影响。伴随着国内电子商务行业的迅猛发展,消费者现在能够轻松的实现足不出户的,仅仅通过网络购物平台就可以非常便捷的购买到自己需要...
    99+
    2023-10-20
    java 在线购物网站商城系统
  • Java基于servlet监听器实现在线人数监控功能的方法
    本文实例讲述了Java基于servlet监听器实现在线人数监控功能的方法。分享给大家供大家参考,具体如下:1、分析:做一个网站在线人数统计,可以通过ServletContextListener监听,当Web应用上下文启动时,在Servlet...
    99+
    2023-05-30
  • 怎么在Java中使用ReentrantReadWriteLock实现多线程
    本篇文章给大家分享的是有关怎么在Java中使用ReentrantReadWriteLock实现多线程,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。Java有哪些集合类Java中...
    99+
    2023-06-14
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作