返回顶部
首页 > 资讯 > 数据库 >分享:软件全面国产化替代,10款数据库TPC-C测评哪家强
  • 422
分享到

分享:软件全面国产化替代,10款数据库TPC-C测评哪家强

数据库mysql大数据oceanbase 2023-08-31 16:08:59 422人浏览 独家记忆
摘要

欢迎访问 OceanBase 官网获取更多信息:https://www.oceanbase.com/ 本文来自OceanBase社区分享,仅限交流探讨。原作者风华流沙,武汉东方赛思数据部总负责人 我

欢迎访问 OceanBase 官网获取更多信息:https://www.oceanbase.com/

本文来自OceanBase社区分享,仅限交流探讨。原作者风华流沙,武汉东方赛思数据部总负责人


我所在的武汉东方赛思软件股份有限公司是一家专注于大数据分析大数据平台软件研发和服务的国家高新技术企业,我们的项目涉及卫生健康、智慧税务、数字政务、市场监管领域,帮助这些企业做好数字化转型。

提起技术选型的起因,还要从我们使用的开源操作系统 Centos说起。由于Centos停止维护,让我们不得不开始思考当国外软件突然不提供服务后,我们的业务该如何稳定进行。为避免后续相关事件对公司项目造成影响,我们决定将所有软硬件都替换为国产方案。

数据库替换背景

数据库层面,我们正在使用的 Mysql 也需要替换为国产开源的产品。当然,替换原因不止这一点。我们在使用mysql 的过程中,面临的一些痛点越来越难以解决。

  • 痛点一:我们当前的业务系统涉及大量 ETL 数据加工、处理,Mysql 8.0 的性能难以支撑,迫使我们寻求一个性能表现更好的数据库。
  • 痛点二:在大型项目中会使用到多套 MySQL 实例及分库分表架构,日常运维与管理非常繁杂。
  • 痛点三:由于近期项目中的实时在线数据量非常大,一旦出现节点宕机情况,就会波及业务系统的稳定运行,甚至带来更为严重的后果,因此,寻找一款更为稳定可靠的数据库势在必行。

基于上述痛点,我们开始着手国产数据库的调研,从多个平台了解到,华为OpenGuess、蚂蚁OceanBase、腾讯TDSQL、达梦数据库DB8在国内拥有较好口碑,因此对这几款数据库产品进行测评,包括性能、兼容性、高可用特性等方面,旨在筛选出最适合我们需求的国产数据库。最初,我们计划先在内部 OA 系统的发票报销模块尝试新产品的适配,但经过一番产品调研后,了解到OceanBase不仅兼容MySQL,也支持HTAP混合负载,其高可用能力甚至达到 RPO=0、RTO<8s,这些特性促使我们决定正式测试、适配OceanBase。下文详细介绍我们对各数据库产品的测试过程及数据表现。

国产数据库产品测试对比

TPC-C 基准测试

众所周知,TPC-C 基准测试是衡量数据库整体性能的重要指标。因此,我们首先对 ​OpenGuess 3.0、OceanBase 4.0、TDSQL10.3、DB8等国产数据库进行了 TPC-C 基准测试,并与MySQL 8.0 的性能作比较。我们以商品销售交易业务为基础设计了 9 张表,并统一设置 TPC-C 的测评参数为10个仓库(数据体量)、10个终端(用户体量),来观察在无硬件资源瓶颈的情况下,各数据库在相同数据体量与用户体量的场景中,OLTP 能力哪家强,测试数据如下图所示。

1679019314

由测试数据可以看出,在开源软件中,OceanBase 4.0 的表现最好,是MySQL 8.0 的1.2倍左右。​因此,在接下来的测试中围绕OceanBase 4.0,考察其整体表现。

场景压测

完成TPC-C的性能测试之后,我们基于当前的一个项目——某省编办环境做数据库产品的场景压测。由于该项目使用的是 DM8 ,因此将 OceanBase 4.0 和 DM8 进行压测对比​,我们​选取了机构修改、用编申请、人员管理三个典型场景,测试环境规格是基于内存 30GB 的单节点环境,通过 WEB 节点向数据库写入并查询数据,部署 jmeter 进行压测,总共涉及 80+段 SQL,涵盖插入、删除、更新、清单查询、统计查询。测试数据如下图所示。

从测试数据可以看出:在并发 100 的情况下,OceanBase 4.0 能确保平均响应时间少于 3 秒,满足响应时间要求,TPS 远高于 DM8。压测结果符合业务的预期响应时间,性能也满足需求,说明业务可行。

高可用测试

为验证在集群节点宕机时 OceanBase 4.0 的表现,我们通过模拟故障的方式,验证在单节点宕机情况下数据库是否还能继续提供服务,以及恢复正常服务要多久。

我们使用 3 台配置为10GB 的服务器部署 1-1-1 3节点集群环境,在测试环境下利用脚本,持续分批写入数据​,每秒向数据库指定表插入 2000 条数据,查看 QPS 和表写入变化。在集群节点都在线的情况下 Kill 掉其中一个 OBServer 进程,观察脚本分时写入情况。我们发现在宕机时,BI 查询仍然正常,数据写入有短暂的明显降低,但大致3秒写入就自动恢复,可以证实 RTO<8s。 OceanBase 确实具备高可用能力。

发票报销系统可行性验证

通过上述测试已经表明 OceanBase 4.0 满足我们的业务需求,那么它是否适合我们的业务呢?我们在内部选择了一个发票报销系统进行可行性验证,验证过程主要是将业务数据从MySQL迁移到OceanBase 4.0,然后将业务流量切换到OceanBase上,运行一段时间观察实际情况。数据的迁移主要使用 MySQLDump 将 MySQL 8.0 的数据离线导出,然后导入 OceanBase 4.0。切换后,对业务的各项功能和数据库的功能再次进行了验证,包括数据库备份恢复及业务各功能模块,目前已稳定运行两个多月,还未发现有功能异常或性能问题,基本验证了OceanBase在后续项目中推广的可行性。

OLAP性能对比

目前 OceanBase 4.0 已经在我们 OA 系统的发票报销系统稳定运行两个多月,后续我们计划将整个OA系统都在 OceanBase 4.0 上线,同时也在进一步测试 OceanBase 4.0 的 AP 能力。我们选取了基于往期项目中的经济户口表改写而成的 10 条典型统计类 SQL,主要可以反映数据的批处理能力以及复杂查询性能。由于我们多数业务使用oracle支撑,因此将 Oracle 与 OceanBase 4.0 进行对比。本次测试两个环境分别使用一台配置为 125GB、56核CPU 的机器,硬件条件相同。

1678880542

通过测试发现,在查询方面,OceanBase 4.0 的实测数据大幅优于 Oracle,在统计查询类 SQL 中 ,Oracle 耗时分别是 2s、7s、9s,OceanBase 4.0 均在 1s 内,极大地超出了我们预期。

经验总结

以上是我们在国产化数据库选型道路上的尝试过程,总体而言已经满足了我们的业务需求,后续会进行更多的实践测试,在测试过程中,我们遇到了两个问题,在此也分享出来供大家参考。

  • 第一,在数据迁移过程中我们发现 ​OceanBase 4.0 对 MySQL 8.0 的视图并不完全兼容,视图迁移失败,使用 MySQL 5.7 时视图迁移成功。由此可知,OceanBase 4.0 对 MySQL 5.7 兼容性更好,希望后续对MySQL8.0的支持能够更进一步。
  • 第二,在与 Oracle 的压测对比过程中,我们发现OceanBase 4.0 暂不支持 Oracle 的递归查询语法,后续我们通过定制函数解决了该问题,目前OceanBase已支持MySQL8.0的递归语法。

希望后续我们的业务 BI 系统和后台分析系统可以在 OceanBase 中实现所有数据的一站式处理,优化内部数据架构。同时我们也希望 OceanBase 社区可以开放更丰富多元的社区用户奖励机制,鼓励更多的用户参与到社区的建设中,最后希望 OceanBase 社区越来越红火。

欢迎访问 OceanBase 官网获取更多信息:Https://www.oceanbase.com/

来源地址:https://blog.csdn.net/OceanBaseGFBK/article/details/129751939

您可能感兴趣的文档:

--结束END--

本文标题: 分享:软件全面国产化替代,10款数据库TPC-C测评哪家强

本文链接: https://lsjlt.com/news/386184.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作