返回顶部
首页 > 资讯 > 后端开发 > Python >SpringBootdisruptor高性能队列使用
  • 451
分享到

SpringBootdisruptor高性能队列使用

Python 官方文档:入门教程 => 点击学习

摘要

目录1、Disruptor简介2、Disruptor概念3、SpringBoot+disruptor实例4、小结Disruptor是一个高性能队列,常见的还有kafka、Rabbit

Disruptor是一个高性能队列,常见的还有kafkaRabbitMQ等,下面体验一下~

1、Disruptor简介

Disruptor 是英国外汇交易公司LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级)。基于 Disruptor 开发的系统单线程能支撑每秒 600 万订单,2010 年在 QCon 演讲后,获得了业界关注。

其特点简单总结如下:

  • 开源的java框架,用于生产者-消费者场景;
  • 高吞吐量和低延迟;
  • 有界队列;

disruptor在GitHub网址为:https://github.com/LMAX-Exchange/disruptor

2、Disruptor概念

  • Ring Buffer:环形的缓冲区,环形数组中的元素采用覆盖方式,避免了JVMGC
  • Sequence Disruptor:通过顺序递增的序号来编号管理通过其进行交换的数据(事件),对数据(事件)的处理过程总是沿着序号逐个递增处理;
  • Sequencer:Sequencer 是 Disruptor 的真正核心。此接口有两个实现类 SingleProducerSequencer、MultiProducerSequencer ,它们定义在生产者和消费者之间快速、正确地传递数据的并发算法
  • Sequence Barrier:用于保持对RingBuffer的 main published Sequence 和Consumer依赖的其它Consumer的 Sequence 的引用;
  • Wait Strategy:定义 Consumer 如何进行等待下一个事件的策略;
  • Event:在 Disruptor 的语义中,生产者和消费者之间进行交换的数据被称为事件(Event)。它不是一个被 Disruptor 定义的特定类型,而是由 Disruptor 的使用者定义并指定;
  • EventProcessor:EventProcessor 持有特定消费者(Consumer)的 Sequence,并提供用于调用事件处理实现的事件循环(Event Loop);
  • EventHandler:定义的事件处理接口,由用户实现,用于处理事件,是 Consumer 的真正实现;
  • Producer:生产者,只是泛指调用 Disruptor 发布事件的用户代码,Disruptor 没有定义特定接口或类型;

3、springboot+disruptor实例

在pom.xml文件中添加依赖

		<dependency>
            <groupId>com.lmax</groupId>
            <artifactId>disruptor</artifactId>
            <version>3.3.4</version>
        </dependency>

消息体Model

@Data
public class MessageModel {
    private String message;
}

构造EventFactory

public class HelloEventFactory implements EventFactory<MessageModel> {
    @Override
    public MessageModel newInstance() {
        return new MessageModel();
    }
}

构造消费者

@Slf4j
public class HelloEventHandler implements EventHandler<MessageModel> {
    @Override
    public void onEvent(MessageModel event, long sequence, boolean endOfBatch) {
        try {
            //这里停止1000ms是为了确定消费消息是异步的
            Thread.sleep(1000);
            log.info("消费者处理消息开始");
            if (event != null) {
                log.info("消费者消费的信息是:{}",event);
            }
        } catch (Exception e) {
            log.info("消费者处理消息失败");
        }
        log.info("消费者处理消息结束");
    }
}

构造MQManager

@Configuration
public class MqManager {
    @Bean("messageModel")
    public RingBuffer<MessageModel> messageModelRingBuffer() {
        //定义用于事件处理的线程池, Disruptor通过java.util.concurrent.ExecutorSerivce提供的线程来触发consumer的事件处理
        ExecutorService executor = Executors.newFixedThreadPool(2);
        //指定事件工厂
        HelloEventFactory factory = new HelloEventFactory();
        //指定ringbuffer字节大小,必须为2的N次方(能将求模运算转为位运算提高效率),否则将影响效率
        int bufferSize = 1024 * 256;
        //单线程模式,获取额外的性能
        Disruptor<MessageModel> disruptor = new Disruptor<>(factory, bufferSize, executor, ProducerType.SINGLE, new BlockingWaitStrategy());
        //设置事件业务处理器---消费者
        disruptor.handleEventsWith(new HelloEventHandler());
        //启动disruptor线程
        disruptor.start();
        //获取ringbuffer环,用于接取生产者生产的事件
        RingBuffer<MessageModel> ringBuffer = disruptor.getRingBuffer();
        return ringBuffer;
    }
}

构造生产者

@Configuration
public class MqManager {
    @Bean("messageModel")
    public RingBuffer<MessageModel> messageModelRingBuffer() {
        //定义用于事件处理的线程池, Disruptor通过java.util.concurrent.ExecutorSerivce提供的线程来触发consumer的事件处理
        ExecutorService executor = Executors.newFixedThreadPool(2);
        //指定事件工厂
        HelloEventFactory factory = new HelloEventFactory();
        //指定ringbuffer字节大小,必须为2的N次方(能将求模运算转为位运算提高效率),否则将影响效率
        int bufferSize = 1024 * 256;
        //单线程模式,获取额外的性能
        Disruptor<MessageModel> disruptor = new Disruptor<>(factory, bufferSize, executor, ProducerType.SINGLE, new BlockingWaitStrategy());
        //设置事件业务处理器---消费者
        disruptor.handleEventsWith(new HelloEventHandler());
        //启动disruptor线程
        disruptor.start();
        //获取ringbuffer环,用于接取生产者生产的事件
        RingBuffer<MessageModel> ringBuffer = disruptor.getRingBuffer();
        return ringBuffer;
    }
}

测试

	
    @Test
    public void sayHelloMQtest() throws Exception{
        helloEventProducer.sayHelloMq("Hello world!");
        log.info("消息队列已发送完毕");
        //这里停止2000ms是为了确定是处理消息是异步的
        Thread.sleep(2000);
    }

运行结果如下

4、小结

引用disruptor作为内部的高性能队列,应用于生产者-消费者模式中还是非常nice的,后面若有工程需求可以尝试一下。

到此这篇关于SpringBoot disruptor高性能队列使用的文章就介绍到这了,更多相关SpringBoot disruptor内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: SpringBootdisruptor高性能队列使用

本文链接: https://lsjlt.com/news/194043.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • SpringBootdisruptor高性能队列使用
    目录1、Disruptor简介2、Disruptor概念3、springboot+disruptor实例4、小结Disruptor是一个高性能队列,常见的还有kafka、rabbit...
    99+
    2023-02-02
    SpringBoot disruptor高性能队列 SpringBoot disruptor SpringBoot高性能队列
  • javaDisruptor构建高性能内存队列使用详解
    目录Java中有哪些队列Disruptor简单使用简单使用核心组件带着问题来解析代码?解决伪共享问题什么是伪共享问题呢?Disruptor是如何解决的呢?回顾总结:Disuptor为...
    99+
    2022-12-09
    java Disruptor构建内存队列 Disruptor 内存队列
  • Spring Boot 使用 Disruptor 做内部高性能消息队列
    目录Disruptor介绍Disruptor 的核心概念Ring BufferSequence DisruptorSequencerSequence BarrierWait Stra...
    99+
    2024-04-02
  • 从实战角度详解Disruptor高性能队列
    目录一、背景二、Java内置队列三、ArrayBlockingQueue的问题1.加锁a.关于锁和CASb.锁c.原子变量2.伪共享a.什么是共享b.缓存行c.什么是伪共享四、Dis...
    99+
    2024-04-02
  • 如何使用Golang的同步机制提高消息队列的性能
    使用Golang的同步机制可以帮助提高消息队列的性能,以下是一些可以尝试的方法:1. 使用缓冲通道:在Golang中,可以使用缓冲通...
    99+
    2023-10-20
    Golang
  • jQuery中animate()如何使用队列功能
    这篇文章将为大家详细讲解有关jQuery中animate()如何使用队列功能,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。jQuery animate() - 使用队列功...
    99+
    2024-04-02
  • Java JMS高级技巧:提升消息队列性能和可靠性的法宝
    Java JMS(Java Message Service)是一个用于在Java应用程序之间发送和接收消息的API。它提供了一种可靠、异步和松散耦合的消息传递机制,可以帮助您构建可扩展、高性能的分布式系统。 为了充分利用JMS,您需要掌...
    99+
    2024-02-26
    Java JMS 消息队列 性能 可靠性
  • PHP 性能优化:队列与消息系统应用
    队列和消息系统可提升 php 应用程序性能,具体通过:解耦应用程序:将任务与资源分离。提高吞吐量:并发处理任务。增加响应能力:异步处理任务。减少资源争用:防止死锁和性能下降。 PHP ...
    99+
    2024-05-10
    php 性能优化 并发请求
  • Java高性能序列化工具Kryo怎么使用
    本文小编为大家详细介绍“Java高性能序列化工具Kryo怎么使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“Java高性能序列化工具Kryo怎么使用”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。概述Kryo ...
    99+
    2023-07-02
  • redis队列功能怎么用
    redis提供队列功能,用于实现消息队列。使用redis队列功能分三步完成:创建队列(lpush)、读取队列(blpop/brpop)、删除队列(del)。redis队列具有速度快、可靠...
    99+
    2024-05-21
    redis 数据丢失
  • PHP 消息队列实战与性能优化
    php 中的消息队列是一种异步处理消息的机制,广泛应用于任务调度等场景。实战案例:使用 beanstalkd 管理异步任务,包括添加任务、设置延时和从队列获取任务。性能优化技巧:使用持久...
    99+
    2024-05-01
    php 消息队列 redis
  • Golang中使用RabbitMQ实现分布式任务队列的性能优化
    在Golang中使用RabbitMQ实现分布式任务队列的性能优化可以从以下几个方面进行优化:1. 消息持久化:RabbitMQ默认情...
    99+
    2023-10-20
    Golang
  • C#队列如何使用
    本篇内容介绍了“C#队列如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!队列的特性很简答,就是先进先出,一般利用数组来实现。实现队列自...
    99+
    2023-06-29
  • Laravel队列如何使用
    这篇文章主要讲解了“Laravel队列如何使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Laravel队列如何使用”吧!什么情况使用队列?耗时的,比如上传一个文件后进行一些格式的转化等。...
    99+
    2023-06-29
  • laravel队列怎么使用
    今天小编给大家分享一下laravel队列怎么使用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。在laravel中,队列是一种...
    99+
    2023-06-29
  • 【Python】rq队列的使用
    1. 什么是Job?Job直译过来就是工作,可以是任意的Python函数,你可以把你想要异步执行的任务都写成Job函数。简而言之,Job就是你想执行的操作。例如,我想统计任意网页的字符数量,可以写一个这样的Job函数:import requ...
    99+
    2023-06-02
  • 如何使用redis队列
    redis 队列是一种基于 redis 数据结构的高级队列系统,提供了高效的消息传递机制。用户可通过以下步骤使用 redis 队列:1. 使用 rpush 命令创建队列。2. 使用 rp...
    99+
    2024-06-12
    python redis
  • RabbitMQ中死信队列和延迟队列如何使用
    这篇文章主要讲解了“RabbitMQ中死信队列和延迟队列如何使用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“RabbitMQ中死信队列和延迟队列如何使用”吧!死信队列简介DLX,全称为De...
    99+
    2023-06-30
  • 异步协程开发实战:构建高性能的消息队列系统
    异步协程开发实战:构建高性能的消息队列系统随着互联网的发展,消息队列系统成为了构建高性能、可扩展性的分布式系统的关键组件。而在构建消息队列系统中,异步协程的应用能够有效地提升系统的性能和可伸缩性。本文将介绍异步协程的开发实战,以构建高性能的...
    99+
    2023-12-09
    异步 协程 高性能
  • Java JMS性能优化秘籍:让你的消息队列更迅捷高效
    Java JMS(Java Message Service)作为一种流行的消息中间件,在构建分布式系统和异步通信时发挥着重要作用。然而,随着系统规模的增长和并发量的攀升,JMS消息队列的性能可能会成为瓶颈,影响系统的整体性能。因此,掌握...
    99+
    2024-02-26
    Java JMS 性能优化 消息队列 异步通信 高并发
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作