返回顶部
首页 > 资讯 > 数据库 >sql的优化建议有哪些呢
  • 270
分享到

sql的优化建议有哪些呢

2024-04-02 19:04:59 270人浏览 八月长安
摘要

本篇文章给大家分享的是有关sql的优化建议有哪些呢,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。1、硬件层相关优化  1.1、CPU相关  在

本篇文章给大家分享的是有关sql优化建议有哪些呢,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。


1、硬件层相关优化

  1.1、CPU相关

  在服务器的BiOS设置中,可调整下面的几个配置,目的是发挥CPU最大性能,或者避免经典的NUMA问题:

  1、选择PerfORMance Per Watt Optimized(DAPC)模式,发挥CPU最大性能,跑DB这种通常需要高运算量的服务就不要考虑节电了;

  2、关闭C1E和C States等选项,目的也是为了提升CPU效率;

  3、Memory Frequency(内存频率)选择Maximum Performance(最佳性能);

  4、内存设置菜单中,启用node Interleaving,避免NUMA问题;

  1.2、磁盘I/O相关

  下面几个是按照ioPS性能提升的幅度排序,对于磁盘I/O可优化的一些措施:

  1、使用SSD或者PCIe SSD设备,至少获得数百倍甚至万倍的IOPS提升;

  2、购置阵列卡同时配备CACHE及BBU模块,可明显提升IOPS(主要是指机械盘,SSD或PCIe SSD除外。同时需要定期检查CACHE及BBU模块的健康状况,确保意外时不至于丢失数据);

  3、有阵列卡时,设置阵列写策略为WB,甚至FORCE WB(若有双电保护,或对数据安全性要求不是特别高的话),严禁使用WT策略。并且闭阵列预读策略,基本上是鸡肋,用处不大;

  4、尽可能选用RaiD-10,而非RAID-5;

  5、使用机械盘的话,尽可能选择高转速的,例如选用15KRPM,而不是7.2KRPM的盘,不差几个钱的;

 2、系统层相关优化

  2.1、文件系统层优化

  在文件系统层,下面几个措施可明显提升IOPS性能:

  1、使用deadline/noop这两种I/O调度器,千万别用cfq(它不适合跑DB类服务);

  2、使用xfs文件系统,千万别用ext3;ext4勉强可用,但业务量很大的话,则一定要用xfs;

  3、文件系统mount参数中增加:noatime, nodiratime, nobarrier几个选项(nobarrier是xfs文件系统特有的);

  2.2、其他内核参数优化

  针对关键内核参数设定合适的值,目的是为了减少swap的倾向,并且让内存和磁盘I/O不会出现大幅波动,导致瞬间波峰负载:

  1、将vm.swappiness设置为5-10左右即可,甚至设置为0(RHEL 7以上则慎重设置为0,除非你允许OOM kill发生),以降低使用SWAP的机会;

  2、将vm.dirty_background_ratio设置为5-10,将vm.dirty_ratio设置为它的两倍左右,以确保能持续将脏数据刷新到磁盘,避免瞬间I/O写,产生严重等待(和Mysql中的innodb_max_dirty_pages_pct类似);

  3、将net.ipv4.tcp_tw_recycle、net.ipv4.tcp_tw_reuse都设置为1,减少TIME_WAIT,提高TCP效率;

  4、至于网传的read_ahead_kb、nr_requests这两个参数,我经过测试后,发现对读写混合为主的OLTP环境影响并不大(应该是对读敏感的场景更有效果),不过没准是我测试方法有问题,可自行斟酌是否调整;

 3、mysql层相关优化

  3.1、关于版本选择

  官方版本我们称为oracle MySQL,这个没什么好说的,相信绝大多数人会选择它。

  我个人强烈建议选择Percona分支版本,它是一个相对比较成熟的、优秀的MySQL分支版本,在性能提升、可靠性、管理型方面做了不少改善。它和官方ORACLE MySQL版本基本完全兼容,并且性能大约有20%以上的提升,因此我优先推荐它,我自己也从2008年一直以它为主。

  另一个重要的分支版本是MariaDB,说MariaDB是分支版本其实已经不太合适了,因为它的目标是取代ORACLE MySQL。它主要在原来的MySQL Server层做了大量的源码级改进,也是一个非常可靠的、优秀的分支版本。但也由此产生了以GTID为代表的和官方版本无法兼容的新特性(MySQL 5.7开始,也支持GTID模式在线动态开启或关闭了),也考虑到绝大多数人还是会跟着官方版本走,因此没优先推荐MariaDB。

  3.2、关于最重要的参数选项调整建议

  建议调整下面几个关键参数以获得较好的性能(可使用本站提供的my.cnf生成器生成配置文件模板):

  1、选择Percona或MariaDB版本的话,强烈建议启用thread pool特性,可使得在高并发的情况下,性能不会发生大幅下降。此外,还有extra_port功能,非常实用, 关键时刻能救命的。还有另外一个重要特色是 QUERY_RESPONSE_TIME 功能,也能使我们对整体的SQL响应时间分布有直观感受;

  2、设置default-storage-engine=InnoDB,也就是默认采用InnoDB引擎,强烈建议不要再使用MyISAM引擎了,InnoDB引擎绝对可以满足99%以上的业务场景;

  3、调整innodb_buffer_pool_size大小,如果是单实例且绝大多数是InnoDB引擎表的话,可考虑设置为物理内存的50% ~ 70%左右;

  4、根据实际需要设置innodb_flush_log_at_trx_commit、sync_binlog的值。如果要求数据不能丢失,那么两个都设为1。如果允许丢失一点数据,则可分别设为2和10。而如果完全不用care数据是否丢失的话(例如在slave上,反正大不了重做一次),则可都设为0。这三种设置值导致数据库的性能受到影响程度分别是:高、中、低,也就是第一个会另数据库最慢,最后一个则相反;

  5、设置innodb_file_per_table = 1,使用独立表空间,我实在是想不出来用共享表空间有什么好处了;

  6、设置innodb_data_file_path = ibdata1:1G:autoextend,千万不要用默认的10M,否则在有高并发事务时,会受到不小的影响;

  7、设置innodb_log_file_size=256M,设置innodb_log_files_in_group=2,基本可满足90%以上的场景;

  8、设置long_query_time = 1,而在5.5版本以上,已经可以设置为小于1了,建议设置为0.05(50毫秒),记录那些执行较慢的SQL,用于后续的分析排查;

  9、根据业务实际需要,适当调整max_connection(最大连接数)、max_connection_error(最大错误数,建议设置为10万以上,而open_files_limit、innodb_open_files、table_open_cache、table_definition_cache这几个参数则可设为约10倍于max_connection的大小;

  10、常见的误区是把tmp_table_size和max_heap_table_size设置的比较大,曾经见过设置为1G的,这2个选项是每个连接会话都会分配的,因此不要设置过大,否则容易导致OOM发生;其他的一些连接会话级选项例如:sort_buffer_size、join_buffer_size、read_buffer_size、read_rnd_buffer_size等,也需要注意不能设置过大;

  11、由于已经建议不再使用MyISAM引擎了,因此可以把key_buffer_size设置为32M左右,并且强烈建议关闭query cache功能;

  3.3、关于Schema设计规范及SQL使用建议

  下面列举了几个常见有助于提升MySQL效率的Schema设计规范及SQL使用建议:

  1、所有的InnoDB表都设计一个无业务用途的自增列做主键,对于绝大多数场景都是如此,真正纯只读用InnoDB表的并不多,真如此的话还不如用TokuDB来得划算;

  2、字段长度满足需求前提下,尽可能选择长度小的。此外,字段属性尽量都加上NOT NULL约束,可一定程度提高性能;

  3、尽可能不使用TEXT/BLOB类型,确实需要的话,建议拆分到子表中,不要和主表放在一起,避免SELECT * 的时候读性能太差。

  4、读取数据时,只选取所需要的列,不要每次都SELECT *,避免产生严重的随机读问题,尤其是读到一些TEXT/BLOB列;

  5、对一个VARCHAR(N)列创建索引时,通常取其50%(甚至更小)左右长度创建前缀索引就足以满足80%以上的查询需求了,没必要创建整列的全长度索引;

  6、通常情况下,子查询的性能比较差,建议改造成JOIN写法;

  7、多表联接查询时,关联字段类型尽量一致,并且都要有索引;

  8、多表连接查询时,把结果集小的表(注意,这里是指过滤后的结果集,不一定是全表数据量小的)作为驱动表;

  9、多表联接并且有排序时,排序字段必须是驱动表里的,否则排序列无法用到索引;

  10、多用复合索引,少用多个独立索引,尤其是一些基数(Cardinality)太小(比如说,该列的唯一值总数少于255)的列就不要创建独立索引了;

  11、类似分页功能的SQL,建议先用主键关联,然后返回结果集,效率会高很多;

  3.4、其他建议

  关于MySQL的管理维护的其他建议有:

  1、通常地,单表物理大小不超过10GB,单表行数不超过1亿条,行平均长度不超过8KB,如果机器性能足够,这些数据量MySQL是完全能处理的过来的,不用担心性能问题,这么建议主要是考虑ONLINE DDL的代价较高;

  2、不用太担心mysqld进程占用太多内存,只要不发生OOM kill和用到大量的SWAP都还好;

  3、在以往,单机上跑多实例的目的是能最大化利用计算资源,如果单实例已经能耗尽大部分计算资源的话,就没必要再跑多实例了;

  4、定期使用pt-duplicate-key-checker检查并删除重复的索引。定期使用pt-index-usage工具检查并删除使用频率很低的索引;

  5、定期采集slow query log,用pt-query-digest工具进行分析,可结合Anemometer系统进行slow query管理以便分析slow query并进行后续优化工作;

  6、可使用pt-kill杀掉超长时间的SQL请求,Percona版本中有个选项 innodb_kill_idle_transaction 也可实现该功能;

  7、使用pt-online-schema-change来完成大表的ONLINE DDL需求;

  8、定期使用pt-table-checksum、pt-table-sync来检查并修复mysql主从复制的数据差异;

  这次的优化参考,大部分情况下我都介绍了适用的场景,如果你的应用场景和本文描述的不太一样,那么建议根据实际情况进行调整,而不是生搬硬套。欢迎质疑拍砖,但拒绝不经过大脑的习惯性抵制。

以上就是sql的优化建议有哪些呢,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注编程网数据库频道。

您可能感兴趣的文档:

--结束END--

本文标题: sql的优化建议有哪些呢

本文链接: https://lsjlt.com/news/66149.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • sql的优化建议有哪些呢
    本篇文章给大家分享的是有关sql的优化建议有哪些呢,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。1、硬件层相关优化  1.1、CPU相关  在...
    99+
    2024-04-02
  • SQL优化技巧有哪些呢
    这期内容当中小编将会给大家带来有关SQL优化技巧有哪些呢,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。 数据库SQL优化大总结之 百万级数据库...
    99+
    2024-04-02
  • HTML5中SEO优化的建议有哪些
    这篇文章给大家分享的是有关HTML5中SEO优化的建议有哪些的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。举个例子<title>淘宝网 - 淘!我喜欢</title>使...
    99+
    2023-06-09
  • Python性能优化的建议有哪些
    这篇文章主要介绍“Python性能优化的建议有哪些”,在日常操作中,相信很多人在Python性能优化的建议有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python性能优化的建议有哪些”的疑惑有所帮助!...
    99+
    2023-06-02
  • 有哪些写SQL的好建议
    本篇内容主要讲解“有哪些写SQL的好建议”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“有哪些写SQL的好建议”吧!1. 在执行删除或者更新语句,尽量加上limi...
    99+
    2024-04-02
  • CSS图片优化的相关建议有哪些
    CSS图片优化的相关建议有哪些,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。  CSS图片优化就是尽量压缩图片的大小,加快页面加载速度,这对于...
    99+
    2024-04-02
  • web网页头部优化建议有哪些
    这篇文章给大家介绍web网页头部优化建议有哪些,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。logo优化:logo图片尽量小。2.一般情况下是作为背景放入的。2.肯定加h2标签(提权)4.搜索引擎对文本链接最友好。 &...
    99+
    2023-06-08
  • SQL的开发建议都有哪些
    本篇文章为大家展示了SQL的开发建议都有哪些,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。MYSQL 开发建议关于建表 1、尽量使用INNODB存储引擎。 2、...
    99+
    2024-04-02
  • 关于SQL的优化有哪些
    本篇内容介绍了“关于SQL的优化有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!大部分人说的SQL优化...
    99+
    2024-04-02
  • .NET程序的性能要领和优化建议有哪些
    本篇文章给大家分享的是有关.NET程序的性能要领和优化建议有哪些,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。提供了一些性能优化的建议,这些经验来自于使用托管代码重写C# 和 ...
    99+
    2023-06-17
  • sql语句优化的十二条建议
    1.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is n...
    99+
    2024-04-02
  • sql有哪些优化方法
    小编给大家分享一下sql有哪些优化方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!1.对查询进行优化,应尽量避免全表扫描,首先...
    99+
    2024-04-02
  • 有哪些SQL优化方法
    这篇文章主要介绍“有哪些SQL优化方法”,在日常操作中,相信很多人在有哪些SQL优化方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”有哪些SQL优化方法”的疑惑有所帮助!接...
    99+
    2024-04-02
  • SQL优化技巧有哪些
    这篇文章主要讲解了“SQL优化技巧有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“SQL优化技巧有哪些”吧!一、索引优化索引的数据结构是 B+Tree,...
    99+
    2024-04-02
  • SQL优化方案有哪些
    这篇文章主要讲解了“SQL优化方案有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“SQL优化方案有哪些”吧!一、避免进行null判断 &nbs...
    99+
    2024-04-02
  • SQL优化方法有哪些
    这篇文章主要讲解了“SQL优化方法有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“SQL优化方法有哪些”吧!一、避免进行null判断 &nbs...
    99+
    2024-04-02
  • SQL优化原则有哪些
    这篇文章将为大家详细讲解有关SQL优化原则有哪些,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一、问题的提出 在应用系统开发初期,由于开发数据库数据比较少,对于查询SQL...
    99+
    2024-04-02
  • Linux系统的优势及有哪些建议
    Linux系统的优势及有哪些建议,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Linux系统让我们懂得了共享、开放、自由可以让人类生活的更加美好,开源精神是一种...
    99+
    2023-06-16
  • clickhouse sql优化的方法有哪些
    点击豪斯(ClickHouse)是一个列式存储的数据库管理系统,专门用于大规模分布式数据处理。以下是一些ClickHouse SQL...
    99+
    2023-10-23
    clickhouse sql
  • SQL优化的知识点有哪些
    本篇内容介绍了“SQL优化的知识点有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!背景  在当今这个互联网的时代无非要解决两大难题,其一...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作