返回顶部
首页 > 资讯 > 后端开发 > Python >SpringBatch跳过异常和限制方式
  • 190
分享到

SpringBatch跳过异常和限制方式

2024-04-02 19:04:59 190人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录springBatch容错处理1. 案例说明2. 跳过异常限制SpringBatch 错误积累1.如果nextStep在该JOB中还没有配置SpringBatch容错处理 1.

SpringBatch容错处理

1. 案例说明

从DB中reader出1000条数据,chunk = 100,当第二个chunk出现NullPointerException或者StringIndexOutOfBoundsException异常。业务要求batch不终了,程序继续执行。

2. 跳过异常限制

下记有两种实现方法。

2.1 skip 和 skipLimit配置


  @Bean
  public Step job1step1() throws Throwable {
    return stepBuilderFactory
        .get(_JOB_STEP_NAME)
          .listener(_stepListener)
          .<Model1, Model2>chunk(_CHUNK_SIZE)
          .reader(reader())
          .processor(processor())
          .writer(writer())
          .faultTolerant()
          .skipLimit(10)
          .skip(NullPointerException.class)
          .skip(StringIndexOutOfBoundsException.class)
          .build();
  }

上记代码示例中的skipLimit方法限制最大跳过数,skip方法限制跳过的异常类型。

这样某条数据出现异常时,并不会终了step,而是跳过本条错误数据,继续处理下一条。

2.2 自定义跳过配置SkipPolicy 接口

SkipPolicy相对于skip更加灵活。

例:业务要求,userId = 110的用户出现上记两个异常时,程序终了。

step代码


  @Bean
  public Step job1step1() throws Throwable {
    return stepBuilderFactory
        .get(_JOB_STEP_NAME)
          .listener(_stepListener)
          .<Model1, Model2>chunk(_CHUNK_SIZE)
          .reader(reader())
          .processor(processor())
          .writer(writer())
          .faultTolerant()
          .skipPolicy(new SkipPolicyTask())
          .build();
  }

自定义SkipPolicy 接口代码


public class SkipPolicyTask implements SkipPolicy {
    private static final int MAX_SKIP_COUNT = 10;
    private static final int USER_ID= 110;
 
    @Override
    public boolean isSkipFlg(Throwable throwable, int skipCount) 
      throws SkipLimitExceededException {
 
        if (throwable instanceof NullPointerException && skipCount < MAX_SKIP_COUNT) {
            return true;
        }
 
        if (throwable instanceof StringIndexOutOfBoundsException && skipCount < MAX_SKIP_COUNT ) {
            if(common.getUserId == INVALID_TX_AMOUNT_LIMIT) {
                return false;
            } else {
                return true;
            }
        }
        return false;
    }
 }

return flase 程序终了,retuen true 跳过异常。

SpringBatch 错误积累

1.如果nextStep在该JOB中还没有配置

也就是说nextStep还不存在的情况下,就会报错


<end on="EIXT WITH IMBALANCE" />
  <next on="BALANCED" to="nextStep" />
<fail on="*" /> 

Caused by: java.lang.IllegalArgumentException: Missing state for [StateTransition: [state=bain_Job.bainToTableStep, pattern=BALANCED, next=bain_Job.trustAcctBatPayStep]]
at org.springframework.batch.core.job.flow.support.SimpleFlow.initializeTransitions(SimpleFlow.java:283) ~[spring-batch-core-3.0.0.RELEASE.jar:3.0.0.RELEASE]
at org.springframework.batch.core.job.flow.support.SimpleFlow.afterPropertiesSet(SimpleFlow.java:128) ~[spring-batch-core-3.0.0.RELEASE.jar:3.0.0.RELEASE]
at org.springframework.batch.core.configuration.xml.SimpleFlowFactoryBean.getObject(SimpleFlowFactoryBean.java:125) ~[spring-batch-core-3.0.0.RELEASE.jar:3.0.0.RELEASE]
at org.springframework.batch.core.configuration.xml.SimpleFlowFactoryBean.getObject(SimpleFlowFactoryBean.java:46) ~[spring-batch-core-3.0.0.RELEASE.jar:3.0.0.RELEASE]
at org.springframework.beans.factory.support.FactoryBeanReGIStrySupport.doGetObjectFromFactoryBean(FactoryBeanRegistrySupport.java:168) ~[spring-beans-4.1.5.RELEASE.jar:4.1.5.RELEASE]
... 42 common frames omitted

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

--结束END--

本文标题: SpringBatch跳过异常和限制方式

本文链接: https://lsjlt.com/news/134964.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • SpringBatch跳过异常和限制方式
    目录SpringBatch容错处理1. 案例说明2. 跳过异常限制SpringBatch 错误积累1.如果nextStep在该JOB中还没有配置SpringBatch容错处理 1. ...
    99+
    2024-04-02
  • 跳过事务处理Slave复制应用binlog异常
    Slave复制应用binlog异常处理方法: 1. 查看报错信息 show slave status\G Relay_Log_File: mysql-relay.000016 Relay_Log_Pos:...
    99+
    2024-04-02
  • ceph心跳机制异常的处理方法
    ceph心跳机制异常的处理方法,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。部署使用ceph集群的时候遇到一个情况,在大规模集群的时候,有节点网络或者osd异常时,mon迟...
    99+
    2023-06-05
  • mysql GTID复制跳过复制错误的方式有哪些
    这篇文章主要介绍mysql GTID复制跳过复制错误的方式有哪些,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完! 1、从库执行了事务,主库执行语句时导致冲...
    99+
    2024-04-02
  • SpringMVC 异常处理机制与自定义异常处理方式
    目录SpringMVC默认处理的几种异常@ResponseStatus异常处理的顺序自定义异常类(SpringMVC的异常处理)①:自定义异常类②:自定义异常处理器③:配置我们的异常...
    99+
    2024-04-02
  • 盘点URLError和HTTPError异常处理方式
    一、前言本文主要说URLError 还有 HTTPError,以及一些处理方式。二、URLError1. 解释下 URLError 可能产生的3个原因:# 1. 网络无连接,即本机无法上网。# 2. 连接不到特定的服务器。# 3. 服务器不...
    99+
    2023-07-25
  • C++中的异常抛出和捕获方式
    目录C++ 中的异常语法抛出类型声明栈自旋在 C 语言中,如果发生错误,上级函数要进行出错处理,层层上传,容易造成过多的出错处理代码,并且传递的效率比较低下。 C++ 中的异常 C+...
    99+
    2024-04-02
  • SpringMVC异常处理机制与自定义异常处理方式的示例分析
    这篇文章主要介绍SpringMVC异常处理机制与自定义异常处理方式的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!提到异常处理,就不得不提HandlerExceptionResolvers,我们的Dispat...
    99+
    2023-06-25
  • Java异常解读以及通过业务逻辑解决异常的方式是什么
    本篇文章给大家分享的是有关Java异常解读以及通过业务逻辑解决异常的方式是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。1、异常体系结构: 1.1:定义:程序在运...
    99+
    2023-06-03
  • python中终止协程和异常处理方式
    目录未处理的异常会导致协程终止下面举例说明总结协程中未处理的异常会向上冒泡,传给 next 函数或 send 方法的调用方(即触发协程的对 象)。 下面示例举例说明如何使用之前博客示...
    99+
    2022-12-16
    python终止协程 python异常处理 python协程
  • @Validated和@Valid三种异常捕获处理方式
    目录@Validated和@Valid异常捕获异常共三种@Valid和@Validated区别注解位置@Validated和@Valid异常捕获 异常共三种 BindExc...
    99+
    2024-04-02
  • MySQL系列:限制IP访问,通过授权的方式实现
    一、允许用户所有IP访问 更改 mysql 数据库里的 user 表里的 host 项,从localhost"改成%即可。有两种方式可以实现。 第一种:直接修改user 表 1. mysql -u root -p 2. selec ...
    99+
    2023-09-06
    mysql 数据库 java
  • Python之异常值检测和处理方式是什么
    这篇文章主要讲解了“Python之异常值检测和处理方式是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python之异常值检测和处理方式是什么”吧!1 什么是异常值?在机器学习中,异常检...
    99+
    2023-07-02
  • 关于controller的异常处理及service层的事务控制方式
    目录controller异常处理及service层的事务控制controller层Exception异常事务回滚失效问题Spring的@Transactional源码中写道测试①测试...
    99+
    2024-04-02
  • 使用spring aop统一处理异常和打印日志方式
    我们很容易写出的代码 我们很容易写出带有很多try catch 和 logger.warn(),logger.error()的代码,这样一个方法本来的业务逻辑只有5行,有了这些,代码...
    99+
    2024-04-02
  • 如何通过PHP8的Throw Expression更方便地处理错误和异常?
    如何通过PHP8的Throw Expression更方便地处理错误和异常?在软件开发过程中,异常处理和错误处理是非常重要的一部分。过去,PHP的异常处理语法相对繁琐,而在PHP8中引入了Throw Expression,为我们提供了一种更为...
    99+
    2023-10-22
    PHP throw 错误处理
  • Python数据分析基础之异常值检测和处理方式
    目录1 什么是异常值?2 异常值的检测方法1. 简单统计2. 3∂原则3. 箱型图4. 基于模型检测5. 基于近邻度的离群点检测6. 基于聚类的方法来做异常点检测7. 专门...
    99+
    2024-04-02
  • springboot 全局异常处理和统一响应对象的处理方式
    目录springboot异常处理SpringBoot 默认的异常处理机制SpringBoot 全局异常处理1. 局部异常处理2. 全局异常处理自定义异常统一响应对象定义统一的响应对象...
    99+
    2024-04-02
  • C++在嵌入式设备开发中面临的限制和解决方案有哪些?
    在嵌入式设备开发中使用 c++++ 时,因资源受限、低级硬件访问、实时限制和代码大小限制,需要采用特定的解决方案,如使用轻量级库、c++ 包装器、确定性 c++ 和仔细选择库等。 实战案...
    99+
    2024-05-12
    c++ 嵌入式设备 git
  • C#中如何使用异常处理和断言机制提高代码健壮性及解决方法
    C#中如何使用异常处理和断言机制提高代码健壮性及解决方法引言在编写代码时,我们都希望代码能够具有良好的健壮性和可靠性。异常处理和断言机制是两种常用的手段,用于在程序运行时捕获和处理异常,以提高代码的容错能力和可维护性。本文将介绍C#中如何使...
    99+
    2023-10-22
    异常处理 代码健壮性 断言机制
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作