返回顶部
首页 > 资讯 > 数据库 >性能分析:hash索引导致delete慢
  • 955
分享到

性能分析:hash索引导致delete慢

2024-04-02 19:04:59 955人浏览 八月长安
摘要

前端时间,应用人员上报一个性能问题:在生产环境中,每天凌晨时段数据库运行很慢,一些EVENT运行失败,导致一部分应用功能异常。根据应用人员提供的时间段,对数据库进行排查。先对主机CPU、io、数据库连接等监

前端时间,应用人员上报一个性能问题:在生产环境中,每天凌晨时段数据库运行很慢,一些EVENT运行失败,导致一部分应用功能异常。


根据应用人员提供的时间段,对数据库进行排查。


先对主机CPU、io、数据库连接等监控历史数据进行分析,确认故障时间线,缩小时间范围。

性能分析:hash索引导致delete慢


从上图看到0:30左右,数据库活动连接由0增到200,1:09活动连接数增到400+,数据库连接异常增高,需要进一步分析数据库此时间在执行什么操作。


性能分析:hash索引导致delete慢

对抓取到的历史数据(主机部署了shell监控脚本)进行分析:在0:30,数据库正在对表_1030做delete操作,其他线程在等待表

综合以上,梳理出故障时间线:

监控数据显示,0:30表_1030进行delete操作,该操作在1:15分左右才执行完成,该操作运行了40+分钟左右,此期间表_1030的select操作被阻塞,导致数据库连接从0升高到200,最大达到400,应用异常:


造成阻塞的sql为:

DELETE FROM _1030 WHERE _1030.F05 <=  NAME_CONST('_current_date',_latin1'2016-01-17 00:30:00' COLLATE 'latin1_swedish_ci')


结合以上,有2个疑问:

该delete语句为什么会产生表锁?

该delete语句为什么这么慢?能否优化


(root@172.30.3.113) [(none)]> show create table S11._1030 \G

*************************** 1. row ***************************

       Table: _1030

Create Table: CREATE TABLE `_1030` (

  `F01` int(10) unsigned NOT NULL AUTO_INCREMENT,

  `F02` char(45) NOT NULL,

  `F03` datetime NOT NULL,

  `F04` int(10) unsigned DEFAULT NULL,

  `F05` datetime NOT NULL,

  `F06` varchar(40) NOT NULL,

  `F07` varchar(40) DEFAULT NULL,

  PRIMARY KEY (`F01`),

  UNIQUE KEY `F02` (`F02`) USING HASH,

  KEY `F06` (`F06`) USING HASH,

  KEY `F07` (`F07`) USING HASH

) ENGINE=MEMORY DEFAULT CHARSET=utf8

1 row in set (0.00 sec)


通过查看发现该表是heap表,heap表数据都在内存里,heap性能应该是很快的,该delete语句为什么这么慢?


测试环境进行测试,DELETE _1030 50w的数据量需要58s,慢的不合常理。删除该表的索引后,delete 1s内完成。这里基本确认索引维护代价太大导致。

添加btree索引,再次测试,delete 1s内完成。确认是hash索引造成。


优化方案:

  1. 把delete改为没有where条件的全表delete或truncate(该表数据是缓存数据)。

  2. 把HASH索引改为BTREE索引。


注:由于btree索引占用的内存空间很大(经测试,btree索引占用空间是hash索引的6倍以上),数据库主机当时内存紧张,所以优先使用方案1。

您可能感兴趣的文档:

--结束END--

本文标题: 性能分析:hash索引导致delete慢

本文链接: https://lsjlt.com/news/40712.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 性能分析:hash索引导致delete慢
    前端时间,应用人员上报一个性能问题:在生产环境中,每天凌晨时段数据库运行很慢,一些EVENT运行失败,导致一部分应用功能异常。根据应用人员提供的时间段,对数据库进行排查。先对主机CPU、IO、数据库连接等监...
    99+
    2024-04-02
  • 一个索引导致查询缓慢
    一、环境centos 6.7 、oracle 11.2,表根据日期按月分区二、测试1、查询表存在索引ind_1(org_id,visit_date,visit_no,patient_id)执行查询语句执行计...
    99+
    2024-04-02
  • impdp导致主键索引的变化分析
    本篇内容介绍了“impdp导致主键索引的变化分析”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成! ...
    99+
    2024-04-02
  • Case:被驱动表没有使用索引导致性能差
    问题开发有一条insert SQL 是定时任务,内容如下, 每天需要约执行5-10次,笔者从select部分开始跑了一会没有结果,就放弃了,效率很差.INSERT INTO b...
    99+
    2024-04-02
  • 分析一些可能导致Golang速度变慢的原因
    随着云计算和大数据时代的到来,计算效率成为许多软件工程师面临的主要挑战之一。在这种情况下,Golang作为一种高效的编程语言,备受关注。然而,一些人声称Golang在处理某些情况下会变得异常缓慢。本文将分析一些可能导致Golang速度变慢的...
    99+
    2023-05-14
  • ORACLE分区索引UNUSABLE导致的DML操作失败举例分析
    本篇内容主要讲解“ORACLE分区索引UNUSABLE导致的DML操作失败举例分析”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“ORACLE分区索引UNUSAB...
    99+
    2024-04-02
  • Mysql索引类型创建错误导致SQL查询缓慢
    索引类型创建错误导致SQL查询缓慢 通过pt-query-digest分析发现这条语句%95都需要15S以上 # Query 2: 0.00 QPS, 0.01x concurrency, ID 0 ...
    99+
    2024-04-02
  • delete in子查询不走索引问题分析
    目录引言问题复现原因分析优化方案为什么加个别名就可以走索引了呢?总结引言 文章开篇前,先问大家一个问题:delete in子查询,是否会走索引呢?很多伙伴第一感觉就是:会走索引。最近我们有个生产问题,就跟它有关...
    99+
    2022-07-06
    delete in子查询索引 delete in子查询
  • delete in子查询不走索引问题分析
    目录引言问题复现原因分析优化方案为什么加个别名就可以走索引了呢?总结引言 文章开篇前,先问大家一个问题:delete in子查询,是否会走索引呢?很多伙伴第一感觉就是:会走...
    99+
    2024-04-02
  • 如何分析分布式session解决方案与一致性hash
    这篇文章将为大家详细讲解有关如何分析分布式session解决方案与一致性hash,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。一、问题的提出1. 什么是Session?用户使用网站的服务,需...
    99+
    2023-06-04
  • 大量删除导致MySQL慢查的示例分析
    这篇文章将为大家详细讲解有关大量删除导致MySQL慢查的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一、背景监控上收到了大量慢查的告警,业务也反馈查询很慢,随即...
    99+
    2024-04-02
  • Java锁竞争导致sql慢日志原因分析
    线上在同步用户时,经常出现简单sql的慢日志。根据方法找到代码,发现方法内使用redisson进行锁操作,waiTime和leaseTime都为3秒,数据库操作比较简单,只是一个简单...
    99+
    2022-11-21
    sql在Java代码中执行很慢 Java sql慢日志
  • MySQL选错索引导致的线上慢查询事故怎么办
    小编给大家分享一下MySQL选错索引导致的线上慢查询事故怎么办,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!正文故障描述在7月2...
    99+
    2024-04-02
  • MySQL索引优化的性能分析和总结
    本篇内容主要讲解“MySQL索引优化的性能分析和总结”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MySQL索引优化的性能分析和总结”吧!案例分析我们先简单了解...
    99+
    2024-04-02
  • mysql覆盖索引高性能的示例分析
    这篇文章主要介绍mysql覆盖索引高性能的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!1、高性能的原因索引通常比记录要小,覆盖索引查询只需要读索引,而不需要读记录。索引都按照值的大小进行顺序存储,相比与随机...
    99+
    2023-06-15
  • oracle中使用索引与不使用索引的性能对比分析
    oracle中使用索引与不使用索引的性能对比分析,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。前言Oracle存储索引的数据结构是B*树。...
    99+
    2024-04-02
  • MySQL大表删除导致服务器变慢的分析
    ---注意,在生产环境中MySQL删除表的时候  如果表过大,几十G  甚至上百G ,删除的时候要小心,要不然会导致MySQLhang住,从而影响业务;1、MySQL在删除表的时候,一共...
    99+
    2024-04-02
  • 性能分析之MySQL慢查询日志分析(慢查询日志)
    一、背景            MySQL的慢查询日志是MySQL提供的一种日志记录,他用来记录在MySQL中响应的时间超过阈值的语句,具体指运行时间超过long_query_time(默认是10秒)值的SQL,会被记录到慢查询日志中。  ...
    99+
    2023-10-20
    mysql 数据库 慢日志分析 性能优化 慢查询日志
  • mysql/oracle 数据库delete操作太慢(where ... in ...),不加索引,一招让性能提升百倍
    背景 delete操作应用虽然不多,但是有些场景使用起来还是更方便。比如 在数仓项目中,软删虽然更快更安全,但是缺点也很多: 1、软删造成数据冗余,甚至快速膨胀的后果。比如一些中间表,只是作为中转站,过两天数据就分配其他表了,不硬...
    99+
    2023-08-17
    数据库 mysql oracle sql 大数据
  • DB2性能优化- REORG慢的分析
    什么是REORG我们知道,数据库中有许多表的存在,而我们可能会经常地需要对表数据进行增删改等操作,经过一系列更改后,逻辑上连续的数据可能会位于不连续的物理数据页上,在许多插入操作创建了溢出记录时尤其如此。按...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作