返回顶部
首页 > 资讯 > 后端开发 > Python >SpringBoot实现分库分表
  • 493
分享到

SpringBoot实现分库分表

2024-04-02 19:04:59 493人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录一、statementHandler对象的定义二、prepare方法1、首先prepare方法是用来编译sql2、那就是之前说的那几个具体的StatementHandler对象3

方案:可以使用拦截器拦截mybatis框架,在执行SQL前对SQL语句根据路由字段进行分库分表操作,下例只做分表功能

@Intercepts:申明需要拦截的方法

拦截StatementHandler对象

一、statementHandler对象的定义

首先我们先来看看statementHandler接口的定义:

首先约定文中将的四大对象是指:executor, statementHandler,parameterHandler,resultHandler对象。

  • SimpleStatementHandler:对应我们JDBC中常用的Statement接口,用于简单SQL的处理;
  • PreparedStatementHandler:对应JDBC中的PreparedStatement,预编译SQL的接口;
  • CallableStatementHandler:对应JDBC中CallableStatement,用于执行存储过程相关的接口;
  • RoutingStatementHandler:这个接口是以上三个接口的路由,没有实际操作,只是负责上面三个StatementHandler的创建及调用。

讲到statementHandler,毫无疑问它是我们四大对象最重要的一个,它的任务就是和数据库对话。在它这里会使用parameterHandler和ResultHandler对象为我们绑定SQL参数和组装最后的结果返回。 


public interface StatementHandler {  
  Statement prepare(Connection connection)  
      throws SQLException;  
  
  void parameterize(Statement statement)  
      throws SQLException;  
  
  void batch(Statement statement)  
      throws SQLException;  
  
  int update(Statement statement)  
      throws SQLException;  
  
  <E> List<E> query(Statement statement, ResultHandler resultHandler)  
      throws SQLException;  
  
  BoundSql getBoundSql();    
  ParameterHandler getParameterHandler();    
}  

二、prepare方法

1、首先prepare方法是用来编译SQL

让我们看看它的源码实现。这里我们看到了BaseStatementHandler对prepare方法的实现

@Override  
public Statement prepare(Connection connection) throws SQLException {  
    ErrorContext.instance().sql(boundSql.getSql());  
    Statement statement = null;  
    try {  
    	statement = instantiateStatement(connection);  
    	setStatementTimeout(statement);  
    	setFetchSize(statement);  
   	    return statement;  
    } catch (SQLException e) {  
   		closeStatement(statement);  
    	throw e;  
    } catch (Exception e) {  
    	closeStatement(statement);  
    	throw new ExecutorException("Error preparing statement.  Cause: " + e, e);  
	}  
}  
 
protected abstract Statement instantiateStatement(Connection connection) throws SQLException;  

显然我们通过源码更加关注抽象方法instantiateStatement是做了什么事情。它依旧是一个抽象方法,那么它就有其实现类。

2、那就是之前说的那几个具体的StatementHandler对象

让我们看看PreparedStatementHandler:

 
@Override  
  protected Statement instantiateStatement(Connection connection) throws SQLException {  
      String sql = boundSql.getSql();  
      if (mappedStatement.geTKEyGenerator() instanceof Jdbc3KeyGenerator) {  
      	  String[] keyColumnNames = mappedStatement.getKeyColumns();  
	      if (keyColumnNames == null) {  
	          return connection.prepareStatement(sql, PreparedStatement.RETURN_GENERATED_KEYS);  
	      } else {  
	          return connection.prepareStatement(sql, keyColumnNames);  
	      }  
      } else if (mappedStatement.getResultSetType() != null) {  
          return connection.prepareStatement(sql, mappedStatement.getResultSetType().getValue(), ResultSet.CONCUR_READ_ONLY);  
      } else {  
          return connection.prepareStatement(sql);  
      }  
  }   

好这个方法非常简单,我们可以看到它主要是根据上下文来预编译SQL,这是我们还没有设置参数。设置参数的任务是交由,statement接口的parameterize方法来实现的。

3、parameterize方法

上面我们在prepare方法里面预编译了SQL。那么我们这个时候希望设置参数。在Statement中我们是使用parameterize方法进行设置参数的。

让我们看看PreparedStatementHandler中的parameterize方法:

@Override  
  public void parameterize(Statement statement) throws SQLException {  
    parameterHandler.setParameters((PreparedStatement) statement);  
  }  

很显然这里很简单是通过parameterHandler来实现的,我们这篇文章只是停留在statementhandler的程度,等我们讲解parameterHandler的时候再来看它如何实现吧,期待一下吧。

4、query/update方法

我们用了prepare方法预编译了SQL,用了parameterize方法设置参数,那么我们接下来肯定是想执行SQL,而SQL无非是两种:

一种是进行查询——query,另外就是更新——update。

这些方法都很简单,让我们看看PreparedStatementHandler的实现:

@Override  
  public int update(Statement statement) throws SQLException {  
      PreparedStatement ps = (PreparedStatement) statement;  
      ps.execute();  
      int rows = ps.getUpdateCount();  
      Object parameterObject = boundSql.getParameterObject();  
      KeyGenerator keyGenerator = mappedStatement.getKeyGenerator();  
      keyGenerator.processAfter(executor, mappedStatement, ps, parameterObject);  
      return rows;  
  }    
 
  @Override  
  public <E> List<E> query(Statement statement, ResultHandler resultHandler) throws SQLException {  
      PreparedStatement ps = (PreparedStatement) statement;  
      ps.execute();  
      return resultSetHandler.<E> handleResultSets(ps);  
  }  

例:动态替换SQL中@TableID标识符

package com.study.demo.interceptor;
import com.study.demo.exception.BaseException;
import org.apache.ibatis.executor.statement.StatementHandler;
import org.apache.ibatis.mapping.BoundSql;
import org.apache.ibatis.plugin.Interceptor;
import org.apache.ibatis.plugin.Intercepts;
import org.apache.ibatis.plugin.Invocation;
import org.apache.ibatis.plugin.Plugin;
import org.apache.ibatis.plugin.Signature;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;
import java.lang.reflect.Field;
import java.sql.Connection;
import java.util.Map;
import java.util.Properties;
import java.util.Set;
@Component
@Intercepts({
        @Signature(type = StatementHandler.class, method = "prepare", args = {Connection.class, Integer.class})})
public class DynamicSQLInterceptor implements Interceptor {
    private static final Logger LOGGER = LoggerFactory.getLogger(DynamicSQLInterceptor.class);
    private static final String SHARD_TABLE_ID = "SHARD_TABLE_ID";
    private static final String DEFAULT_TABLE_ID = "000";
    @Override
    @SuppressWarnings("unchecked")
    public Object intercept(Invocation invocation) throws Throwable {
        LOGGER.info("DynamicSQLInterceptor.intercept() exec.");
        StatementHandler statementHandler = (StatementHandler) invocation.getTarget();
        Object parameter = statementHandler.getParameterHandler().getParameterObject();
        Map<String, Object> params = (Map)parameter;
        if(CollectionUtils.isEmpty(params)){
            throw new BaseException("SQL: 路由字段不能为空!");
        }
        String tableId = DEFAULT_TABLE_ID;
        Set<String> keySet = params.keySet();
        for (String key : keySet) {
            if (SHARD_TABLE_ID.equals(key)) {
                tableId = String.valueOf(params.get(key));
            }
        }
        BoundSql boundSql = statementHandler.getBoundSql();
        //获取到原始sql语句
        String sql = boundSql.getSql();
        String newSql = sql.replaceAll("@TableID", tableId);
        LOGGER.debug("[DynamicSQLInterceptor] Sql:{}", newSql);
        //通过反射修改sql语句
        Field field = boundSql.getClass().getDeclaredField("sql");
        field.setAccessible(true);
        field.set(boundSql, newSql);
        return invocation.proceed();
    }
    @Override
    public Object plugin(Object target) {
        //只拦截Executor对象,减少目标被代理的次数
        if (target instanceof StatementHandler) {
            return Plugin.wrap(target, this);
        } else {
            return target;
        }
    }
    @Override
    public void setProperties(Properties properties) {
        LOGGER.debug("[DynamicSQLInterceptor] SetProperties");
    }
}

示例SQL:

SELECT * FROM ST_CLASS_@TableID WHERE ID = #{id}

service层示例:

@Override
public Objcet queryByPrimaryKey(String id) {
    Map<String, Object> params = DbShardUtils.shardDBParamMap(id);
    params.put("id", id);
    return testDao.queryByPrimaryKey(params);
}

dao层示例:

@Repository
public interface TestDao {
	Object queryByPrimaryKey(Map<String, Object> params);
}
package com.study.demo.utils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.util.HashMap;
import java.util.Map;

public class DbShardUtils {
	private static final Logger LOGGER = LoggerFactory.getLogger(DbShardUtils.class);
	private static final String SHARD_TABLE_ID = "SHARD_TABLE_ID";
	
	private DbShardUtils() {
	}
	public static Map<String, Object> shardDBParamMap(String id){
		if (StringUtils.isBlank(id)) {
			LOGGER.error("sharding id is null");
		}
		Map<String, Object> paramMap = new HashMap<>();
		paramMap.put(SHARD_TABLE_ID, rout(id));
		return paramMap;
	}
	private static String rout(String id) {
		// 测试
		return "000";
	}
}

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

--结束END--

本文标题: SpringBoot实现分库分表

本文链接: https://lsjlt.com/news/139545.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • SpringBoot实现分库分表
    目录一、statementHandler对象的定义二、prepare方法1、首先prepare方法是用来编译SQL2、那就是之前说的那几个具体的StatementHandler对象3...
    99+
    2024-04-02
  • springboot整合shardingjdbc实现分库分表最简单demo
    目录一、概览1.1 简介1.2 对比1.3 分库分表场景1.4 非分片表处理方法1.5 技术栈二、 项目整合2.1 pom.xml2.2 jpa/mybatis项目其他调整 spri...
    99+
    2024-04-02
  • 怎么在springboot中使用shardingjdbc实现分库分表
    这篇文章给大家介绍怎么在springboot中使用shardingjdbc实现分库分表,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。一、概览1.1 简介ShardingSphere-JDBC定位为轻量级 Java 框架...
    99+
    2023-06-15
  • SpringBoot整合sharding-jdbc实现自定义分库分表的实践
    目录一、前言二、简介1、分片键2、分片算法三、程序实现一、前言 SpringBoot整合sharding-jdbc实现分库分表与读写分离 本文将通过自定义算法来实现定制化的分库分表来...
    99+
    2024-04-02
  • SpringBoot怎么整合sharding-jdbc实现分库分表与读写分离
    本篇内容主要讲解“SpringBoot怎么整合sharding-jdbc实现分库分表与读写分离”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“SpringBoot怎么整合sharding-jdbc...
    99+
    2023-06-25
  • SpringBoot+MybatisPlus+Mysql+Sharding-JDBC分库分表
    目录一、序言1、组件及版本选择2、预期目标二、代码实现(一)素材准备1、实体类2、Mapper类3、全局配置文件(二)增删查改1、保存数据2、查询列表数据3、分页查询数据4、查询详情...
    99+
    2024-04-02
  • SpringBoot整合sharding-jdbc实现分库分表与读写分离的示例
    目录一、前言二、数据库表准备三、整合四、docker-compose部署mysql主从五、本文案例demo源码一、前言 本文将基于以下环境整合sharding-jdbc实现分库分表与...
    99+
    2024-04-02
  • Java如何实现分库分表
    一、为啥要分库分表 在大型互联网系统中,大部分都会选择mysql作为业务数据存储。一般来说,mysql单表行数超过500万行或者单表容量超过2GB,查询效率就会随着数据量的增长而下降。这个时候,就需要对表进行拆分。 那么应该怎么拆分呢? 通...
    99+
    2023-08-31
    java 开发语言
  • MyCat怎么实现分库分表
    本篇内容介绍了“MyCat怎么实现分库分表”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!项目环境: 192.168.8.30 &n...
    99+
    2023-06-01
  • mysql分库分表如何实现
    MySQL分库分表可以通过以下几个步骤实现: 水平分库:将原始的单个数据库分成多个独立的数据库。每个数据库可以独立运行在不同的服务...
    99+
    2023-10-27
    mysql
  • 数据库中如何实现分库分表
    这篇文章将为大家详细讲解有关数据库中如何实现分库分表,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。 分片是解决数据库存储容量限制的直接途径。分片包括垂直分片与水平分片两...
    99+
    2024-04-02
  • MyCat教程五:实现分库分表
      本文我们来介绍下MyCat的分库分表操作   分库分表   一、分片规则介绍   在rule.xml中定义了各种myCat支持的分片规则。 取模mod-long 自然月分片 sharding-by-month ...
    99+
    2015-12-28
    MyCat教程五:实现分库分表
  • 利用RadonDB实现MySQL分库分表
    利用RadonDB实现MySQL分库分表 RadonDB是青云上提供的MySQL分布式解决方案,提供数据库的透明拆分及高可用服务。RadonDB包括Radon, Xenon, MySQL三部分安装。其中Radon,Xenon官方没有发行二...
    99+
    2022-02-20
    利用RadonDB实现MySQL分库分表
  • SQL中怎么实现分库分表
    本篇文章为大家展示了SQL中怎么实现分库分表,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。SQL怎样进行分库分表  方案1:  通过提升服务器硬件能力来提高数据处理...
    99+
    2024-04-02
  • MySQL中如何实现分库分表
    本篇文章为大家展示了MySQL中如何实现分库分表,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。一、    背景介绍1.大数据...
    99+
    2024-04-02
  • MySQL中怎么实现分库分表
    今天就跟大家聊聊有关MySQL中怎么实现分库分表,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。Mysql分库分表方案1.为什么要分表:当一张表的数据...
    99+
    2024-04-02
  • 使用ShardingSphere-Proxy实现分表分库
    目录1. 环境准备2. 数据库脚本准备3. 配置 ShardingSphere-Proxy分表原理解析参考:Sharding-Proxy的基本功能使用 1. 环境准备 MySql 5...
    99+
    2024-04-02
  • MyCat分库分表中怎么实现ER分片
    这篇文章主要介绍“MyCat分库分表中怎么实现ER分片”,在日常操作中,相信很多人在MyCat分库分表中怎么实现ER分片问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”MyCat分库分表中怎么实现ER分片”的疑...
    99+
    2023-06-01
  • springboot按月分表的实现方式
    目录一、项目背景1、分表的方式二、代码实现1、pom文件依赖2、配置文件3、MybatisPlusConfig实现4、优雅的使用5、mysql表名拆分三、遇到的问题1、Invalid...
    99+
    2023-05-16
    springboot 按月分表 springboot 分表
  • MySQL分库分表实例分析
    这篇“MySQL分库分表实例分析”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“MySQL分库分表实例分析”文章吧。一、为什么...
    99+
    2023-06-30
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作