返回顶部
首页 > 资讯 > 数据库 >HBase写入异常RejectedExecutionException
  • 189
分享到

HBase写入异常RejectedExecutionException

HBase写入异常RejectedExecutionException 2022-01-25 14:01:36 189人浏览 无得
摘要

HBase在大数据量并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException HBas

HBase写入异常RejectedExecutionException

HBase大数据并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException

HBase在大数据量并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException:

从异常堆栈信息可以看出是flush请求时被拒绝引起的,核对一下flush的代码。

我们单位办公电脑在内网里,不便粘贴代码和异常信息,这里手动写几行代码大体说明情况。

 1 Configuration conf = HBaseConfiguration.create();
 2 Connection connection = ConnectionFactory.createConnection(conf);
 3 Table table = null;
 4 try (Admin admin = connection.getAdmin()) {
 5   TableName tableName = TableName.valueOf("test:table");
 6   table = connection.getTable(tableName);
 7   table.put(puts);//List puts
 8   admin.flush(tableName);
 9 } finally {
10   if (table != null) {
11     table.close();
12   }
13 }

代码是每接受到一批List puts先进行写入然后立马flush。在大数据量的情况下导致flush请求太过频繁。HBase服务端一般是配置1-2个线程来处理flush请求,所以处理不完请求。

这里的flush太频繁是不合理的,把flush机制修改为了写入一定数据量或超过一定时间没有后才触发,问题就解决了。

这里顺便学习一下HBase触发flush的条件。引用前辈的链接吧,已经总结的很不错了。https://www.iteblog.com/arcHives/2497.html

 

您可能感兴趣的文档:

--结束END--

本文标题: HBase写入异常RejectedExecutionException

本文链接: https://lsjlt.com/news/6998.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • HBase写入异常RejectedExecutionException
    HBase在大数据量并发写入时,写一段时间后HBase监控界面出现告警,写入程序日志里频繁出现异常java.util.concurrent.RejectedExecutionException HBas...
    99+
    2022-01-25
    HBase写入异常RejectedExecutionException
  • HBase BucketAllocatorException 异常剖析
    近日,观察到HBase集群出现如下WARN日志: 2020-04-18 16:17:03,081 WARN [regionserver/xxx-BucketCacheWriter-1] bucket.BucketCache:F...
    99+
    2020-01-21
    HBase BucketAllocatorException 异常剖析
  • Python 编写自己的异常
            所有的异常都是在Python或者它的标准库中提前定义好的。根据自己的目的可以使用任意的异常类型,同时也可以自己定义异常类型,用来处理程序中可能会出现的特殊情况。        一个异常是一个类,即类Exception的一个子...
    99+
    2023-01-31
    自己的 异常 Python
  • 深入解析java.lang.ClassNotFoundException异常
    1. 引言 在Java开发中,我们经常会遇到各种异常。其中,java.lang.ClassNotFoundException异常是一种常见的异常。本文将深入解析这个异常的定义、作用、产生原因以及常见场景。 1.1 介绍ClassNotFou...
    99+
    2023-08-30
    java 开发语言
  • 深入解析java.lang.IllegalStateException异常
    异常概述 什么是异常 异常是程序在执行过程中遇到的错误或异常情况。在Java中,异常是指在程序运行期间发生的错误,它可以打破程序的正常流程,并且可能导致程序终止。 异常的分类 异常分为两种类型:受检异...
    99+
    2023-08-31
    java python 大数据
  • hdfs/hbase 程序利用Kerberos认证超过ticket_lifetime期限后异常
    问题描述 业务需要一个长期运行的程序,将上传的文件存放至HDFS,程序启动后,刚开始一切正常,执行一段时间(一般是一天,有的现场是三天),就会出现认证错误,用的JDK是1.8,hadoop-client,对应的版本是2.5.1,为...
    99+
    2016-11-12
    hdfs/hbase 程序利用Kerberos认证超过ticket_lifetime期限后异常
  • 职位画像中phoenix链接HBase异常之版本不匹配
    Phoenix简介 Phoenix是一个基于HBase的开源SQL引擎,可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据,它是完全使用Java编写,作为HBase内嵌的JDBC驱动使用。 ...
    99+
    2018-09-15
    职位画像中phoenix链接HBase异常之版本不匹配
  • java自定义异常类怎么写
    要自定义一个异常类,你可以按照以下步骤进行操作: 创建一个新的Java类,命名为你想要的异常类名,并继承自Exception类或其...
    99+
    2024-02-29
    java
  • Java异常处理深入理解
    目录图片解析:异常的处理:处理机制一:try-catch-finallyfinally的再说明:处理机制二:throws + 异常类型开发中应该如何选择两种处理方式?如何自定义异常类...
    99+
    2024-04-02
  • 带你深入理解Java异常
    💕“人生就像一盘棋,有时候你慢一步,就输掉了一局。但只要你不停止思考和行动,就永远有机会翻盘。”💕 🐼作者:不能再留遗憾了🐼 &#x...
    99+
    2023-10-05
    java jvm 开发语言
  • Spring Boot深入排查 java.lang.ArrayStoreException异常
    目录java.lang.ArrayStoreException 分析使用 Java Exception Breakpoint尝试以简单例子复现异常为什么会是java.lang.Arr...
    99+
    2024-04-02
  • 深入了解C++异常处理
    目录基本的异常处理怎么抛出异常捕获和处理异常不存在异常的描述 --- 标识性作用    删减符 ...异常处理中的传参操作  --- 可以写一个变量进去可以抛出自己类的对象标准库当中...
    99+
    2024-04-02
  • 深入浅析Kotlin中的异常
    这期内容当中小编将会给大家带来有关深入浅析Kotlin中的异常,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。Kotlin 基础教程之异常概述在Kotlin-null的处理里提到的NPE,它就是一个异常。而...
    99+
    2023-05-31
    kotlin
  • 以写代学:python 错误、异常、断言
    1.错误(1)语法错误     语法错误指示软件的结构上有错误,导致不能被解释器解释或编译器无法编译。这些错误必须在程序执行前纠正。(2)逻辑错误     逻辑错误可能是由于不完整或是不合法的输入所致。还可能是逻辑无法生成,计算,或是输出结...
    99+
    2023-01-31
    断言 异常 错误
  • C++异常处理入门(try和catch)
    目录捕获异常 发生异常的位置 开发程序是一项“烧脑”的工作,程序员不但要经过长期的知识学习和思维训练,还要做到一丝不苟,注意每一个细节和边界。即使这样,也不能防止程序出错。 专家指...
    99+
    2024-04-02
  • 深入理解java的异常情况
    目录什么是异常?异常的存在形式Java异常体系异常的分类运行时异常编译时异常错误 Error编译时异常和运行时异常的区别常见的异常防御式编程Java处理异常的语法异常抛出—throw...
    99+
    2024-04-02
  • 深入理解Java中的java.lang.ArithmeticException异常
    引言 在Java中,异常处理是一种重要的编程机制。异常是指在程序执行过程中发生的错误或异常情况,它打破了正常的程序流程,需要进行相应的处理。Java提供了丰富的异常类和异常处理语法,使开发人员能够更好...
    99+
    2023-10-18
    java 开发语言
  • SpringBoot2深入分析解决java.lang.ArrayStoreException异常
    将某个项目从Spring Boot1升级Spring Boot2之后出现如下报错,查了很多不同的解决方法都没有解决: Spring boot2项目启动时遇到了异常: java.lan...
    99+
    2024-04-02
  • Oracle中如何编写异常处理代码
    在Oracle中,异常处理代码通常使用PL/SQL语言来编写。以下是一个示例: DECLARE v_num1 NUMBER :=...
    99+
    2024-04-09
    Oracle
  • 使用异步的twisted框架写入数据
    1.twisted框架介绍Twisted是用Python实现的基于事件驱动的网络引擎框架;Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样,...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作