扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > 其他教程 >sql字段解析器的实现示例
  • 549

0
分享到

sql字段解析器的实现示例

2024-04-02 19:04:59 549人浏览 薄情痞子
摘要

目录1. 解题思路2. 具体解析实现3. 单元测试用例：有一段sql语句，我们需要从中截取出所有字段部分，以便进行后续的类型推断或者别名字段抽取定义，请给出此解析方法。 想来很简单吧

用例：有一段sql语句，我们需要从中截取出所有字段部分，以便进行后续的类型推断或者别名字段抽取定义，请给出此解析方法。

想来很简单吧，因为 sql 中的字段列表，使用方式有限，比如 a as b, a, a b...

1. 解题思路

　　如果不想做复杂处理，最容易想到的，就是直接用某个特征做分割即可。比如，先截取出 字段列表部分，然后再用逗号',' 分割，就可以得到一个个的字段了。然后再要细分，其实只需要用 as 进行分割就可以了。

　　看起来好像可行，但是存在许多漏洞，首先，这里面有太多的假设：各种截取部分要求必须符合要求，必须没有多余的逗号，必须要有as 等等。这明显不符合要求了。

　　其二，我们可以换一种转换方式。比如先截取到field部分，然后先以 as 分割，再以逗号分割，然后取最后一个词作为field。

　　看起来好像更差了，截取到哪里已经完全不知道了。即原文已经被破坏殆尽，而且同样要求要有 as 转换标签，而且对于函数觊觎有 as 的场景，就完全错误了。

　　其三，最好还是自行一个个单词地解析，field 字段无外乎几种情况，1. 普通字段如 select a; 2. 带as的普通字段如 select a as b; 3. 带函数的字段如 select coalesce(a, b); 4. 带函数且带as的字段如 select coalesce(a, b) ab; 5. 函数内带as的字段如 select cast(a as string) b; ...   我们只需依次枚举对应的情况，就可以将字段解析出来了。

　　看起来是个不错的想法。但是具体实现如何？

2. 具体解析实现

　　主要分两个部分，1. 需要定义一个解析后的结果数据结构，以便清晰描述字段信息； 2. 分词解析sql并以结构体返回；

　　我们先来看看整个算法核心：



public class SimpleSqlFieldParser {

    
    public static List<SelectFieldClauseDescriptor> parse(String sql) {
        String columnPart = adaptFieldPartSql(sql);
        int deep = 0;
        List<StringBuilder> fieldTokenSwap = new ArrayList<>();
        StringBuilder currentTokenBuilder = new StringBuilder();
        List<SelectFieldClauseDescriptor> fieldList = new ArrayList<>();
        fieldTokenSwap.add(currentTokenBuilder);
        int len = columnPart.length();
        char[] columnPartChars = columnPart.toCharArray();
        for(int i = 0; i < len; i++) {
            // 空格忽略，换行忽略，tab忽略
            // 字符串相接
            // 左(号入栈，++deep；
            // 右)号出栈，--deep；
            // deep>0 忽略所有其他直接拼接
            // as 则取下一个值为fieldName
            // case 则直接取到end为止；
            //,号则重置token，构建结果集
            char currentChar = columnPartChars[i];
            switch (currentChar) {
                case '(':
                    ++deep;
                    currentTokenBuilder.append(currentChar);
                    break;
                case ')':
                    --deep;
                    currentTokenBuilder.append(currentChar);
                    break;
                case ',':
                    if(deep == 0) {
                        addNewField(fieldList, fieldTokenSwap, true);
                        fieldTokenSwap = new ArrayList<>();
                        currentTokenBuilder = new StringBuilder();
                        fieldTokenSwap.add(currentTokenBuilder);
                        break;
                    }
                    currentTokenBuilder.append(currentChar);
                    break;
                case ' ':
                case '\t':
                case '\r':
                case '\n':
                    if(deep > 0) {
                        currentTokenBuilder.append(currentChar);
                        continue;
                    }
                    if(currentTokenBuilder.length() == 0) {
                        continue;
                    }
                    // original_name as   --> alias
                    if(i + 1 < len) {
                        int j = i + 1;
                        // 收集连续的空格
                        StringBuilder spaceHolder = new StringBuilder();
                        boolean isNextLeftBracket = false;
                        do {
                            char nextChar = columnPart.charAt(j++);
                            if(nextChar == ' ' || nextChar == '\t'
                                    || nextChar == '\r' || nextChar == '\n') {
                                spaceHolder.append(nextChar);
                                continue;
                            }
                            if(nextChar == '(') {
                                isNextLeftBracket = true;
                            }
                            break;
                        } while (j < len);
                        if(isNextLeftBracket) {
                            currentTokenBuilder.append(currentChar);
                        }
                        if(spaceHolder.length() > 0) {
                            currentTokenBuilder.append(spaceHolder);
                            i += spaceHolder.length();
                        }
                        if(isNextLeftBracket) {
                            // continue next for, function begin
                            continue;
                        }
                    }
                    if(fieldTokenSwap.size() == 1) {
                        if(fieldTokenSwap.get(0).toString().equalsIgnoreCase("case")) {
                            String caseWhenPart = CommonUtil.readSplitWord(
                                    columnPartChars, i, " ", "end");
                            currentTokenBuilder.append(caseWhenPart);
                            if(caseWhenPart.length() <= 0) {
                                throw new BizException("语法错误，未找到case..when的结束符");
                            }
                            i += caseWhenPart.length();
                        }
                    }
                    addNewField(fieldList, fieldTokenSwap, false);
                    currentTokenBuilder = new StringBuilder();
                    fieldTokenSwap.add(currentTokenBuilder);
                    break;
                    // 空格忽略
                default:
                    currentTokenBuilder.append(currentChar);
                    break;
            }

        }
        // 处理剩余尚未存储的字段信息
        addNewField(fieldList, fieldTokenSwap, true);
        return fieldList;
    }

    
    private static void addNewField(List<SelectFieldClauseDescriptor> fieldList,
                                    List<StringBuilder> fieldTokenSwap,
                                    boolean forceAdd) {
        int ts = fieldTokenSwap.size();
        if(ts == 1 && forceAdd) {
            // db.original_name,
            String fieldName = fieldTokenSwap.get(0).toString();
            String alias = fieldName;
            if(fieldName.contains(".")) {
                alias = fieldName.substring(fieldName.lastIndexOf('.') + 1);
            }
            fieldList.add(new SelectFieldClauseDescriptor(fieldName, alias));
            return;
        }
        if(ts < 2) {
            return;
        }
        if(ts == 2) {
            // original_name alias,
            if(fieldTokenSwap.get(1).toString().equalsIgnoreCase("as")) {
                return;
            }
            fieldList.add(new SelectFieldClauseDescriptor(
                    fieldTokenSwap.get(0).toString(),
                    fieldTokenSwap.get(1).toString()));
        }
        else if(ts == 3) {
            // original_name as alias,
            fieldList.add(new SelectFieldClauseDescriptor(
                    fieldTokenSwap.get(0).toString(),
                    fieldTokenSwap.get(2).toString()));
        }
        else {
            throw new BizException("字段语法解析错误，超过3个以字段描述信息:" + ts);
        }
    }

    // 截取适配 field 字段信息部分
    private static String adaptFieldPartSql(String fullSql) {
        int start = fullSql.lastIndexOf("select ");
        int end = fullSql.lastIndexOf(" from");
        String columnPart = fullSql.substring(start + "select ".length(), end);
        return columnPart.trim();
    }

}

　　应该说是比较简单的，一个for, 一个 switch ，就搞定了。其他的，更多的是逻辑判定。

　　下面我们来看看字段描述类的写法，其实就是两个字段，源字段和别名。



public class SelectFieldClauseDescriptor {
    private String fieldName;
    private String alias;

    public SelectFieldClauseDescriptor(String fieldName, String alias) {
        this.fieldName = fieldName;
        this.alias = alias;
    }

    public String getFieldName() {
        return fieldName;
    }

    public String getAlias() {
        return alias;
    }


    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;
        SelectFieldClauseDescriptor that = (SelectFieldClauseDescriptor) o;
        return Objects.equals(fieldName, that.fieldName) &&
                Objects.equals(alias, that.alias);
    }

    @Override
    public int hashCode() {
        return Objects.hash(fieldName, alias);
    }

    @Override
    public String toString() {
        return "SelectFieldClauseDescriptor{" +
                "fieldName='" + fieldName + '\'' +
                ", alias='" + alias + '\'' +
                '}';
    }
}

它存在的意义，仅仅是为了使用方更方便取值，以为更进一步的解析提供了依据。

3. 单元测试

　　其实像写这种工具类，单元测试最是方便简单。因为最初的结果，我们早已预料，以测试驱动开发最合适不过了。而且，基本上一出现不符合预期的值时，很快速就定位问题了。



public class SimpleSqlFieldParserTest {

    @Test
    public void testParse() {
        String sql;
        List<SelectFieldClauseDescriptor> parsedFieldList;
        sql = "select COALESCE(t1.xno, t2.xno, t3.xno) as xno,\n" +
                "   case when t1.xno is not null then 1 else null end as xxk001,\n" +
                "   case when t2.xno is not null then 1 else null end as xxk200,\n" +
                "   case when t3.xno is not null then 1 else null end as xx3200\n" +
                "   from xxk001 t1\n" +
                "     full join xxkj100 t2 on t1.xno = t2.xno\n" +
                "     full join xxkj200 t3 on t1.xno = t3.xno;";
        parsedFieldList = SimpleSqlFieldParser.parse(sql);
        System.out.println("result:");
        parsedFieldList.forEach(System.out::println);
        Assert.assertEquals("字段个数解析不正确",
                4, parsedFieldList.size());
        Assert.assertEquals("字段别名解析不正确",
                "xno", parsedFieldList.get(0).getAlias());
        Assert.assertEquals("字段别名解析不正确",
                "xx3200", parsedFieldList.get(3).getAlias());

        sql = "select cast(a as string) as b from ccc;";
        parsedFieldList = SimpleSqlFieldParser.parse(sql);
        System.out.println("result:");
        parsedFieldList.forEach(System.out::println);
        Assert.assertEquals("字段个数解析不正确",
                1, parsedFieldList.size());
        Assert.assertEquals("字段别名解析不正确",
                "b", parsedFieldList.get(0).getAlias());

        sql = "with a as(select cus,x1 from b1), b as (select cus,x2 from b2)\n" +
                "    select a.cus as a_cus, cast(a \nas string) as a_cus2, " +
                "b.x2 b2 from a join b on a.cus=b.cus where xxx;";
        parsedFieldList = SimpleSqlFieldParser.parse(sql);
        System.out.println("result:");
        parsedFieldList.forEach(System.out::println);
        Assert.assertEquals("字段个数解析不正确",
                3, parsedFieldList.size());
        Assert.assertEquals("字段别名解析不正确",
                "a_cus", parsedFieldList.get(0).getAlias());
        Assert.assertEquals("字段别名解析不正确",
                "b2", parsedFieldList.get(2).getAlias());

        sql = "select a.xno,b.xx,qqq from a_tb as a join b_tb as b on a.id = b.id";
        parsedFieldList = SimpleSqlFieldParser.parse(sql);
        System.out.println("result:");
        parsedFieldList.forEach(System.out::println);
        Assert.assertEquals("字段个数解析不正确",
                3, parsedFieldList.size());
        Assert.assertEquals("字段别名解析不正确",
                "xno", parsedFieldList.get(0).getAlias());
        Assert.assertEquals("字段别名解析不正确",
                "qqq", parsedFieldList.get(2).getAlias());

        sql = "select cast (a.a_int as string) a_str, b.xx, coalesce  \n( a, b, c) qqq from a_tb as a join b_tb as b on a.id = b.id";
        parsedFieldList = SimpleSqlFieldParser.parse(sql);
        System.out.println("result:");
        parsedFieldList.forEach(System.out::println);
        Assert.assertEquals("字段个数解析不正确",
                3, parsedFieldList.size());
        Assert.assertEquals("字段别名解析不正确",
                "a_str", parsedFieldList.get(0).getAlias());
        Assert.assertEquals("字段原始名解析不正确",
                "cast (a.a_int as string)", parsedFieldList.get(0).getFieldName());
        Assert.assertEquals("字段别名解析不正确",
                "qqq", parsedFieldList.get(2).getAlias());
        Assert.assertEquals("字段原始名解析不正确",
                "coalesce  \n( a, b, c)", parsedFieldList.get(2).getFieldName());
    }
}

至此，一个简单的字段解析器完成。小工具，供参考！

到此这篇关于sql字段解析器的实现示例的文章就介绍到这了,更多相关sql字段解析器内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

--结束END--

本文标题: sql字段解析器的实现示例

本文链接: https://lsjlt.com/news/128879.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • sql字段解析器的实现示例
    目录1. 解题思路2. 具体解析实现3. 单元测试用例：有一段sql语句，我们需要从中截取出所有字段部分，以便进行后续的类型推断或者别名字段抽取定义，请给出此解析方法。 想来很简单吧...
    99+
    2024-04-02
  • PyTorch中inplace字段的示例分析
    小编给大家分享一下PyTorch中inplace字段的示例分析，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！例如torch.nn.ReLU(inplace=Tru...
    99+
    2023-06-15
  • 基于Python-sqlparse的SQL字段血缘追踪解析实现
    目录 前言 一、字段血缘 1.区别字段 2.区别标识符序列 3.功能函数设定 二、字段血缘可视化 点关注，防走丢，如有纰漏之处，请留言指教，非常感谢 前言 SQL解析和血缘追踪的研究现在差不多可以告一段落了，从8月22日写HiveSQ...
    99+
    2023-09-04
    1024程序员节 数据库 mysql python sql
  • 如何实现URL字段的解析
    这期内容当中小编将会给大家带来有关如何实现URL字段的解析，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。1.修改爬取的目标地址我们知道如果想要爬取网站的数据需要在spiders文件中创建一个蜘蛛，创建后这...
    99+
    2023-06-02
  • MybatisPlus字段类型转换的实现示例
    目录resultMap的作用是什么mybatisPlus如何完成字段映射自动映射@TableField是能够指定jdbcType的mybatis如何完成查询参数转换先来回忆下在myb...
    99+
    2023-03-15
    MybatisPlus 字段类型转换 MybatisPlus 类型转换
  • mysql 字段括号拼接的实现示例
    目录1. 概述2. 步骤详解步骤1：连接到mysql数据库步骤2：构造SQL查询语句步骤3：执行SQL查询语句步骤4：处理查询结果步骤5：关闭数据库连接总结1. 概述 在使用MySQL进行数据查询时，有时候需要对字段进行...
    99+
    2024-01-29
    mysql 字段括号拼接 mysql 字段拼接
  • SQL Server解析/操作Json格式字段数据的方法实例
    目录1 json存储2 json操作3其他总结1 json存储 在sqlserver 中存储json ，需要用字符串类型进行存储，一般用nvarchar()或 varcha...
    99+
    2024-04-02
  • SQL Server数据库中表名称、字段比较的示例分析
    这篇文章主要为大家展示了“SQL Server数据库中表名称、字段比较的示例分析”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“SQL Server数据库中表名称...
    99+
    2024-04-02
  • 实例解析package.json和最常见的scripts字段
    目录前言什么是package.json详解package.json文件结构scripts详解scripts字段有哪些特殊的脚本命令使用scripts字段有以下几个好处：scripts...
    99+
    2023-05-14
    package.json和scripts字段 package.json scripts
  • MySQL多个字段拼接去重的实现示例
    目录什么是多个字段拼接去重使用mysql进行多个字段拼接去重创建测试表使用GROUP_CONCAT函数进行拼接使用CONCAT_WS函数进行拼接去除重复的拼接结果总结在MySQL中，我们经常会遇到需要将多个字段进行拼接并...
    99+
    2024-01-29
    MySQL字段拼接去重 MySQL拼接去重
  • SQL Server数据库中的表名称和字段实例分析
    这篇文章主要介绍“SQL Server数据库中的表名称和字段实例分析”的相关知识，小编通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“SQL Server数据库中的表名称和字段实例分析...
    99+
    2024-04-02
  • LINQ to SQL删除实现的示例分析
    LINQ to SQL删除实现的示例分析，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。在实现LINQ to SQL删除时可以使用Lambda Expression批量删除数...
    99+
    2023-06-17
  • ShardingSphere解析SQL示例详解
    目录引言解析Sql的入口解析Sql1. 将 SQL 解析为抽象语法树2. 提取Sql片段3. 填充Sql片段，生成解析结果总结引言 ShardingSphere的SQL解析，本篇文章...
    99+
    2022-11-13
    ShardingSphere SQL解析 ShardingSphere SQL
  • MyBatis-Plus实现字段自动填充功能的示例
    目录一、前言二、实现1. 实体类2. 公用字段 - 使用注解填充字段3. 自定义MyMetaObjectHandler字段自动填充处理类继承MetaObjectHandler一、前言...
    99+
    2024-04-02
  • 常用的攻击手段SQL注入的示例分析
    这篇文章主要介绍常用的攻击手段SQL注入的示例分析，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！一、概述1. 攻击原理SQL注入是较常见的网络攻击方式之一，主要针对WEB应用，利用程序员编写代码的疏忽，对于连接数据库...
    99+
    2023-06-27
  • 使用python解析json字段的3种方式实例
    目录1、运用re、json、jsonpath包解析json思路2、三种方式的json解析案例（1）运用re正则表达式解析json（2）运用字典的数据结构性质解析json（3）运用js...
    99+
    2024-04-02
  • SQL中字符串拼接的示例分析
    这篇文章主要为大家展示了“SQL中字符串拼接的示例分析”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“SQL中字符串拼接的示例分析”这篇文章吧。一、概述相信大家在...
    99+
    2024-04-02
  • MySQL查询事务状态字段的示例分析
    这篇文章主要介绍了MySQL查询事务状态字段的示例分析，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。一、information_schema...
    99+
    2024-04-02
  • Java Class 解析器实现方法示例
    最近在写一个私人项目，名字叫做ClassAnalyzer，ClassAnalyzer的目的是能让我们对Java Class文件的设计与结构能够有一个深入的理解。主体框架与基本功能已经完成，还有一些细节功能日后再增加。实际上JDK已经提供了命...
    99+
    2023-05-31
    java 解析器 ava
  • Mybatis-Plus实现SQL拦截器的示例
    目录起源实现拦截器接口InnerInterceptor修改sql常用的工具类起源 最近公司要做多租户，Mybatis-Plus的多租户插件很好用，但是有一个场景是：字典表或者某些数据...
    99+
    2023-05-19
    Mybatis-Plus SQL拦截器 Mybatis-Plus 拦截器
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作