返回顶部
首页 > 资讯 > 数据库 >MySQL临时表可以重名的原因是什么
  • 841
分享到

MySQL临时表可以重名的原因是什么

2023-06-29 14:06:10 841人浏览 薄情痞子
摘要

这篇文章主要为大家展示了“MySQL临时表可以重名的原因是什么”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Mysql临时表可以重名的原因是什么”这篇文章吧。今天我们就从这个问题说起:临时表有哪

这篇文章主要为大家展示了“MySQL临时表可以重名的原因是什么”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Mysql临时表可以重名的原因是什么”这篇文章吧。

今天我们就从这个问题说起:临时表有哪些特征,适合哪些场景?

这里,我需要先帮你厘清一个容易误解的问题:有的人可能会认为,临时表就是内存表。但是,这两个概念可是完全不同的。

  • 内存表,指的是使用Memory引擎的表,建表语法是create table …engine=memory。**这种表的数据都保存在内存里,系统重启的时候会被清空,但是表结构还在。**除了这两个特性看上去比较“奇怪”外,从其他的特征上看,它就是一个正常的表。

  • 临时表,可以使用各种引擎类型。如果是使用InnoDB引擎或者MyISAM引擎的临时表,写数据的时候是写到磁盘上的。当然,临时表也可以使用Memory引擎。

弄清楚了内存表和临时表的区别以后,我们再来看看临时表有哪些特征。

临时表的特性

为了便于理解,我们来看下下面这个操作序列:

MySQL临时表可以重名的原因是什么

可以看到,临时表在使用上有以下几个特点:

  • 建表语法是create temporary table …。

  • 一个临时表只能被创建它的session访问,对其他线程不可见。所以,图中session A创建的临时表t,对于session B就是不可见的。

  • 临时表可以与普通表同名。

  • session A内有同名的临时表和普通表的时候,showcreate语句,以及增删改查语句访问的是临时表。

  • showtables命令不显示临时表。

由于临时表只能被创建它的session访问,所以在这个session结束的时候,会自动删除临时表

也正是由于这个特性,临时表就特别适合上篇文章中join优化这种场景。为什么呢? 原因主要包括以下两个方面:

  • 不同session的临时表是可以重名的,如果有多个session同时执行join优化,不需要担心表名重复导致建表失败的问题。

  • 不需要担心数据删除问题。如果使用普通表,在流程执行过程中客户端发生了异常断开,或者数据库发生异常重启,还需要专门来清理中间过程中生成的数据表。而临时表由于会自动回收,所以不需要这个额外的操作。

临时表的应用

由于不用担心线程之间的重名冲突,临时表经常会被用在复杂查询的优化过程中。其中,分库分表系统的跨库查询就是一个典型的使用场景。

一般分库分表的场景,就是要把一个逻辑上的大表分散到不同的数据库实例上。比如。将一个大表ht,按照字段f,拆分成1024个分表,然后分布到32个数据库实例上。如下图所示:

MySQL临时表可以重名的原因是什么

一般情况下,这种分库分表系统都有一个中间层proxy。不过,也有一些方案会让客户端直接连接数据库,也就是没有proxy这一层。

在这个架构中,分区key的选择是以“减少跨库和跨表查询”为依据的。如果大部分的语句都会包含f的等值条件,那么就要用f做分区键。这样,在proxy这一层解析完sql语句以后,就能确定将这条语句路由到哪个分表做查询。

比如下面这条语句:

select v from ht where f=N;

这时,我们就可以通过分表规则(比如,N%1024)来确认需要的数据被放在了哪个分表上。这种语句只需要访问一个分表,是分库分表方案最欢迎的语句形式了。

但是,如果这个表上还有另外一个索引k,并且查询语句是这样的:

select v from ht where k >= M order by t_modified desc limit 100;

这时候,由于查询条件里面没有用到分区字段f,只能到所有的分区中去查找满足条件的所有行,然后统一做order by的操作。这种情况下,有两种比较常用的思路。

第一种思路是,在proxy层的进程代码中实现排序。 这种方式的优势是处理速度快,拿到分库的数据以后,直接在内存中参与计算。不过,这个方案的缺点也比较明显:

  • 需要的开发工作量比较大。我们举例的这条语句还算是比较简单的,如果涉及到复杂的操作,比如group by,甚至join这样的操作,对中间层的开发能力要求比较高;

  • 对proxy端的压力比较大,尤其是很容易出现内存不够用和CPU瓶颈的问题。

另一种思路就是,把各个分库拿到的数据,汇总到一个mysql实例的一个表中,然后在这个汇总实例上做逻辑操作。

比如上面这条语句,执行流程可以类似这样:

  • 在汇总库上创建一个临时表temp_ht,表里包含三个字段v、k、t_modified;

  • 在各个分库上执行select v,k,t_modified from ht_x where k >= M order by t_modified desc limit 100;

  • 把分库执行的结果插入到temp_ht表中;

  • 执行select v from temp_ht order by t_modified desc limit 100;

得到结果。 这个过程对应的流程图如下所示:

MySQL临时表可以重名的原因是什么

在实践中,我们往往会发现每个分库的计算量都不饱和,所以会直接把临时表temp_ht放到32个分库中的某一个上

为什么临时表可以重名?

你可能会问,不同线程可以创建同名的临时表,这是怎么做到的呢?

我们在执行

create temporary table temp_t(id int primary key)engine=innodb;

这个语句的时候,MySQL要给这个InnoDB表创建一个frm文件保存表结构定义,还要有地方保存表数据。

这个frm文件放在临时文件目录下,文件名的后缀是.frm,前缀是“#sql{进程id}_ {线程id}_ 序列号”。

从文件名的前缀规则,我们可以看到,其实创建一个叫作t1的InnoDB临时表,MySQL在存储上认为我们创建的表名跟普通表t1是不同的,因此同一个库下面已经有普通表t1的情况下,还是可以再创建一个临时表t1的。

先来举一个例子。

MySQL临时表可以重名的原因是什么

这个进程的进程号是1234,session A的线程id是4,session B的线程id是5。所以你看到了,session A和session B创建的临时表,在磁盘上的文件不会重名。

MySQL维护数据表,除了物理上要有文件外,内存里面也有一套机制区别不同的表,每个表都对应一个table_def_key。

  • 一个普通表的table_def_key的值是由“库名+表名”得到的,所以如果你要在同一个库下创建两个同名的普通表,创建第二个表的过程中就会发现table_def_key已经存在了。

  • 而对于临时表,table_def_key在“库名+表名”基础上,又加入了“server_id+thread_id”。

也就是说,session A和session B创建的两个临时表t1,它们的table_def_key不同,磁盘文件名也不同,因此可以并存

在实现上,每个线程都维护了自己的临时表链表。这样每次session内操作表的时候,先遍历链表,检查是否有这个名字的临时表,如果有就优先操作临时表,如果没有再操作普通表;在session结束的时候,对链表里的每个临时表,执行 “DROPTEMPORARY TABLE +表名”操作。

这时候你会发现,binlog中也记录了DROPTEMPORARY TABLE这条命令。你一定会觉得奇怪,临时表只在线程内自己可以访问,为什么需要写到binlog里面?这,就需要说到主备复制了。

临时表和主备复制

既然写binlog,就意味着备库需要。 你可以设想一下,在主库上执行下面这个语句序列:

create table t_nORMal(id int primary key, c int)engine=innodb;create temporary table temp_t like t_normal;insert into temp_t values(1,1);insert into t_normal select * from temp_t;

如果关于临时表的操作都不记录,那么在备库就只有create table t_normal表和insert intot_normal select * fromtemp_t这两个语句的binlog日志,备库在执行到insert into t_normal的时候,就会报错“表temp_t不存在”。

你可能会说,如果把binlog设置为row格式就好了吧?因为binlog是row格式时,在记录insert intot_normal的binlog时,记录的是这个操作的数据,即:write_rowevent里面记录的逻辑是“插入一行数据(1,1)”。

确实是这样。如果当前的binlog_format=row,那么跟临时表有关的语句,就不会记录到binlog里。也就是说,只在binlog_format=statment/mixed的时候,binlog中才会记录临时表的操作

这种情况下,创建临时表的语句会传到备库执行,因此备库的同步线程就会创建这个临时表。主库在线程退出的时候,会自动删除临时表,但是备库同步线程是持续在运行的。所以,这时候我们就需要在主库上再写一个DROPTEMPORARY TABLE传给备库执行。

主库上不同的线程创建同名的临时表是没关系的,但是传到备库执行是怎么处理的呢?

现在,我给你举个例子,下面的序列中实例S是M的备库。

MySQL临时表可以重名的原因是什么

主库M上的两个session创建了同名的临时表t1,这两个create temporary table t1 语句都会被传到备库S上。

但是,备库的应用日志线程是共用的,也就是说要在应用线程里面先后执行这个create 语句两次。(即使开了多线程复制,也可能被分配到从库的同一个worker中执行)。那么,这会不会导致同步线程报错?

显然是不会的,否则临时表就是一个bug了。也就是说,备库线程在执行的时候,要把这两个t1表当做两个不同的临时表来处理。这,又是怎么实现的呢? MySQL在记录binlog的时候,会把主库执行这个语句的线程id写到binlog中。这样,在备库的应用线程就能够知道执行每个语句的主库线程id,并利用这个线程id来构造临时表的table_def_key:

  • session A的临时表t1,在备库的table_def_key就是:库名+t1+“M的serverid”+“session A的thread_id”;

  • session B的临时表t1,在备库的table_def_key就是 :库名+t1+“M的serverid”+“session B的thread_id”。

由于table_def_key不同,所以这两个表在备库的应用线程里面是不会冲突的。

以上是“MySQL临时表可以重名的原因是什么”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网数据库频道!

您可能感兴趣的文档:

--结束END--

本文标题: MySQL临时表可以重名的原因是什么

本文链接: https://lsjlt.com/news/325373.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • MySQL临时表可以重名的原因是什么
    这篇文章主要为大家展示了“MySQL临时表可以重名的原因是什么”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“MySQL临时表可以重名的原因是什么”这篇文章吧。今天我们就从这个问题说起:临时表有哪...
    99+
    2023-06-29
  • MySQL为什么临时表可以重名
    目录临时表的特性临时表的应用为什么临时表可以重名?临时表和主备复制主库上不同的线程创建同名的临时表是没关系的,但是传到备库执行是怎么处理的呢?今天我们就从这个问题说起:临时表有哪些特...
    99+
    2024-04-02
  • mysql中临时表指的是什么
    这篇文章主要介绍了mysql中临时表指的是什么,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。临时表是MySQL用于存储一些中间结果集的表,临时表...
    99+
    2024-04-02
  • mysql临时表的作用是什么
    今天小编给大家分享一下mysql临时表的作用是什么的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一...
    99+
    2023-05-25
    mysql
  • MySQL 临时表的原理以及优化方法
    目录1 临时表2 union临时表优化3 group by临时表优化1 临时表 sort buffer、内存临时表和join buffer,这三个数据结构都是用来存放语句执行过程中的中间数据,以辅助SQL语句的...
    99+
    2022-08-22
    MySQL 临时表优化 MySQL 临时表
  • mysql创建临时表报错的原因有哪些
    创建临时表报错的原因可能有以下几种: 临时表已存在:如果同名的临时表已经存在于当前数据库中,尝试再次创建同名的临时表将会报错。 表...
    99+
    2024-04-09
    mysql
  • MySQL学习之临时表是什么
    这篇文章给大家分享的是有关MySQL学习之临时表是什么的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。临时表临时表可以分为磁盘临时表和内存临时表,而临时文件,只会存在于磁盘上,不会...
    99+
    2024-04-02
  • MySQL中的分区表和临时表是什么
    这篇文章主要为大家展示了“MySQL中的分区表和临时表是什么”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“MySQL中的分区表和临时表是什么”这篇文章吧。临时表...
    99+
    2024-04-02
  • mysql临时表的使用方法是什么
    在MySQL中,临时表是一种特殊类型的表,它只在当前会话中存在并且在会话结束时会自动被销毁。临时表对于临时存储中间结果或者处理大量数...
    99+
    2024-04-09
    mysql
  • MySQL临时表使用的方法是什么
    在MySQL中,可以使用以下方法创建和使用临时表: 使用CREATE TEMPORARY TABLE语句创建临时表: CREAT...
    99+
    2024-05-06
    mysql
  • MySQL临时表查询的方法是什么
    在MySQL中,我们可以使用CREATE TEMPORARY TABLE语句来创建临时表,并对其进行查询操作。临时表在会话结束时会自...
    99+
    2024-05-06
    mysql
  • ping域名超时是什么原因
    ping域名超时的原因:1.对方关机。2.地址不存在。2.不在同一网段内。3.设置了ICMP数据包过滤。4.错误设置IP地址。ping域名超时的原因:对方已关机或者网络上根本没有这个地址。如果对方与自己不在同一网段内,会导致ping超时。对...
    99+
    2024-04-02
  • bandizip无法重命名的原因是什么
    本篇内容介绍了“bandizip无法重命名的原因是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成! b...
    99+
    2023-04-08
    bandizip
  • SQLServer中的临时表是什么
    SQLServer中的临时表是一种特殊类型的表,用于存储临时数据。临时表在会话结束或用户主动删除时会被自动销毁,不会长期存在于数据库...
    99+
    2024-03-12
    SQLServer
  • MySQL的临时表是什么?与内存表有什么区别?
    概述MySQL中临时表主要有两类,包括外部临时表和内部临时表。外部临时表是通过语句create temporary table...创建的临时表,临时表只在本会话有效,会话断开后,临时表数据会自动清理。内部...
    99+
    2024-04-02
  • oracle临时表空间满了的原因怎么排查
    当Oracle临时表空间满了时,可能有以下原因导致: 临时表空间设置太小:检查临时表空间的大小是否足够,如果不够,可以增加临时表...
    99+
    2024-04-09
    oracle
  • sql临时表的优缺点是什么
    SQL临时表的优点包括: 临时表可以提高查询性能:通过将查询结果存储在临时表中,可以减少查询的复杂性和计算量,从而提高查询性能。...
    99+
    2024-04-09
    sql
  • mysql创建临时表并赋值的方法是什么
    在MySQL中,可以使用以下方法创建临时表并赋值: 使用CREATE TABLE语句创建临时表,并使用INSERT INTO语句将...
    99+
    2024-04-09
    mysql
  • vue可以在浏览器运行的原因是什么
    本文小编为大家详细介绍“vue可以在浏览器运行的原因是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“vue可以在浏览器运行的原因是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。Vue 是一种现代化的前端...
    99+
    2023-07-05
  • PHP可以开发动态网站的原因是什么
    这篇“PHP可以开发动态网站的原因是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“PHP可以开发动态网站的原因是什么”文...
    99+
    2023-07-05
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作