返回顶部
首页 > 资讯 > 数据库 >数据库IO性能知识整理
  • 350
分享到

数据库IO性能知识整理

2024-04-02 19:04:59 350人浏览 独家记忆
摘要

        今年年初为了做一体机的性能测试以及CRM3.0的存储性能测试,走马观花的对存储相关的知识做了一些了解,并且结合Swingbench和fio,对数据库和存储性能做了一些测试工作。       

        今年年初为了做一体机的性能测试以及CRM3.0的存储性能测试,走马观花的对存储相关的知识做了一些了解,并且结合Swingbench和fio,对数据库和存储性能做了一些测试工作。       

    

        整个IO栈是一个比较复杂的流程,包含软件和硬性相关的内容,

数据库IO性能知识整理

图片原始地址:Http://www.ilinuxkernel.com/files/Linux.IO.stack_v1.0.pdf


          受限自身的知识体系,只对基本的技术环境做了大概的了解,

数据库IO性能知识整理

        很可惜,找不到这张图的原始出处,从Google查询到的,可以帮助我们了解从数据库发起IO请求操作,到最终完成数据操作流经了那些设备。


        数据库相关知识内容内容整理成了《X86平台RAC安装最佳实践》,在oracle用户组的活动中做过分享。


        为了便于理解设备延迟,以Intel Xeon E5 CPU为基准,整理了一份不同设备的请求延迟数据。

系统设备

真实延迟

缩放延迟

一个 CPU 指令

0.4 ns

1 s

CPU Level 1 缓存

0.9 ns

2 s

CPU Level 2 缓存

2.8 ns

7 s

CPU Level 3 缓存

28 ns (10 X L2)

1 min

DDR 内存

100 ns

4 min

Intel 傲腾

<10 us

7 hrs

8GB HBA卡

50 us

1.5 days

NVMe 固态硬盘

~25 us

17 hrs

固态硬盘

50–150 μs

1.5–4 days

机械硬盘

1–10 ms

1–9 months

        从硬件发展的趋势来看,传统的存储性能瓶颈在NVMe设备普及的情况下,越来越淡化,同时硬件性能的提升,也促进了分布式存储和开源数据库的快速发展。


        客观的讲,目前大部分的一体机,在技术层面没有多少创新,只是使用了全新的硬件架构,使得数据库性能达到了极大的提升。更多的是看对一体机本身的管理、监控以及相关扩展功能的一些提供,比如备份以及CDP/CDM等辅助功能。


        Linux设备发现,多路径管理,fio测试相关的知识,在《数据库系统IO性能测试方法》中进行了整理。


主机HBA卡信息
[root@dzqddb1 disk]# lspci | grep -i hba
c1:00.0 Fibre Channel: QLogic Corp. ISP2532-based 8Gb Fibre Channel to PCI Express HBA (rev 02)

服务器HBA端口编号
[root@dzqddb1 ~]# cd /sys/class/fc_host
host3 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/fc_host/host3

存储前端端口编号
[root@dzqddb1 ~]# cd /sys/class/fc_remote_ports
rport-3:0-0 -> ../../devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-0/fc_remote_ports/rport-3:0-0

磁盘设备映射路径
[root@dzqddb1 ~]# udevadm info --query=all --name=/dev/sdak
P: /devices/pci0000:c0/0000:c0:03.0/0000:c1:00.0/host3/rport-3:0-1/target3:0:1/3:0:1:12/block/sdak


        包括一些磁盘参数的比对情况:


机械硬盘(HDD)

固态硬盘(SSD)

NVMe SSD

产品

希捷 ST4000DM006

INTEL SSD 545S

Intel SSD DC P4600

接口类型

SATA 6Gb/s

6 Gb/s SATA接口

PCIe NVMe 3.1 x4

容量

4TB

1.00 TB

4.00 TB

顺序读

220MB/s

550 MB/s

3200 MB/s

随机读

76

85000 

617500

顺序写


500 MB/s

1900 MB/s

随机写


75000

225000

读延迟

9 ms

50 µs

82 µs

写延迟

9 ms

50 µs

30 µs

价格

700¥

1500¥

19000¥


        推荐一下阿里云的一套视频,《深入解析数据存储技术原理及发展演进》,非常精彩。https://yq.aliyun.com/promotion/689,不过视频在线直播数据有点慢,想看下载视频的,可以用百度网盘下载离线版本:

链接:https://pan.baidu.com/s/1FEq6mtD4x8e2UDqeqIs8Bg 

提取码:kyq2 

        另外两个整理的文档也在网盘中有分享。


您可能感兴趣的文档:

--结束END--

本文标题: 数据库IO性能知识整理

本文链接: https://lsjlt.com/news/39349.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 数据库IO性能知识整理
            今年年初为了做一体机的性能测试以及CRM3.0的存储性能测试,走马观花的对存储相关的知识做了一些了解,并且结合Swingbench和fio,对数据库和存储性能做了一些测试工作。       ...
    99+
    2024-04-02
  • 数据库知识点整理1
    一、基础概念   关系型数据库:利用二维表来保存数据。   关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。实体:现实世界中客观存在并可以被区别的事物...
    99+
    2024-04-02
  • mysql性能知识点整理
    这篇文章主要讲解了“mysql性能知识点整理”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“mysql性能知识点整理”吧! my...
    99+
    2024-04-02
  • Oracle数据库小知识点整理
    -- 数据库存储数据   -- 市面上主流的数据库有哪些   -- 甲骨文  oracle   mysql --  IBM  db2  金融 --  微软  sqlserver   --这些是关系型数据库。   --NOSQL  不仅仅是s...
    99+
    2020-10-12
    Oracle数据库小知识点整理
  • MongoDB数据库基础知识整理
    一、NoSQL 了解MongoDB之前先了解一下NoSQL,NoSQL是Not Only SQL的缩写。由提供缺乏SQL关系数据库的严格限制模型的存储和检索技术组成。主要是简化设计、水平扩展以及对数据的可用性进行更精细的...
    99+
    2022-07-07
    MongoDB数据库 基础知识
  • MySQL数据库重点知识整理
    这篇文章主要讲解了“MySQL数据库重点知识整理”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“MySQL数据库重点知识整理”吧!mysql脉络1. 数据类型...
    99+
    2024-04-02
  • 关于MySQL关系型数据库知识的整理
    本文主要给大家介绍MySQL关系型数据库,文章内容都是笔者用心摘选和编辑的,具有一定的针对性,对大家的参考意义还是比较大的,下面跟笔者一起了解下MySQL关系型数据库吧。    &nbs...
    99+
    2024-04-02
  • mysql相关知识整理(参考《高性能MySQL》)
    2.事务的隔离级别 未提交读:事务的修改,即使没有提交,对其他事务也都是可见的。(有脏读可能性) 2.已提交读:一个事务从开始直到提交之前,所作的任何修改对其他事务都是不可见。(有不可重复读可能性) 3.可重复读:同一个事务多次读取同样的记...
    99+
    2014-11-12
    mysql相关知识整理(参考《高性能MySQL》)
  • 数据库事务隔离级别知识点整理:快速提高你的数据库技能
    事务隔离级别概述 事务隔离级别是数据库系统用于控制事务之间如何相互影响的一组规则。它定义了事务在执行过程中对其他事务的可见性,以及事务在执行过程中是否会受到其他事务的影响。隔离级别越高,事务对其他事务的可见性越低,事务受到其他事务的影响...
    99+
    2024-02-23
    数据库 事务 隔离级别 并发
  • 数据库性能调优入门:新手必备知识
    1、慢查询优化 慢查询是影响数据库性能的主要原因之一,慢查询优化是数据库性能调优的首要任务。以下是一些常用的慢查询优化技术: 1.1 使用EXPLAIN语句分析查询语句的执行计划,找出查询语句执行缓慢的原因。 1.2 使用索引来优化...
    99+
    2024-02-13
    数据库性能调优 慢查询优化 索引设计 查询优化 事务调优
  • JavaScript数组知识点整理
    本篇内容介绍了“JavaScript数组知识点整理”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!JavaS...
    99+
    2024-04-02
  • 数据库原理基本知识点
    这篇文章主要介绍了数据库原理基本知识点,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。数据库原理基本知识点有:1、数据库系统的两级映射以及物理、逻...
    99+
    2024-04-02
  • 数据库基本知识
    一、创建和查看数据库 1.创建数据库 CREATE DATABASE [IF NOT EXISTS]#可选内容 db_name [create_specification]#如下定义:[DEFAUL...
    99+
    2024-04-02
  • 数据库知识补充
    2016.12.27.星期二--修改表alter--增加字段 ADDALTER TABLE 表名 ADD 字段名 各种修饰词 AFTER 字段名;ALTER TABLE library ADD booksn...
    99+
    2024-04-02
  • 数据库知识笔记
    1、强制使用decimal存储小数,不使用float、double,防止精度损失,如果存储的数据范围超过 decimal 的范围,建议将数据拆成整数和小数分开存储。这也是阿里的强制开发规范。2、高效分页li...
    99+
    2024-04-02
  • 数据库基础知识
    1.数据库的概念数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。2.数据库的作用3.数据层次模型4.常见关系型数据库5.SQL结构化查询语言本章没有讲NoSQL...
    99+
    2024-04-02
  • JavaScript数据类型和变量知识点整理
    这篇文章主要讲解了“JavaScript数据类型和变量知识点整理”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“JavaScript数据类型和变量知识点整理”...
    99+
    2024-04-02
  • python整数和变量的知识点整理
    这篇文章主要讲解了“python整数和变量的知识点整理”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“python整数和变量的知识点整理”吧!1.整数Python可以处理任意大小的整数,当然包...
    99+
    2023-06-04
  • 数据库知识扫盲,数据库索引
    存储引擎 早期存储引擎都是把数据库相关数据固化到磁盘的,在并发上每张表都是表锁, 后期的存储引擎(例如innodb,in-memory等)大多都是元数据在磁盘上,索引数据在内存中,在并发上每张表都是行锁 2、磁盘型数据库索引 数据库如一本...
    99+
    2016-02-02
    数据库知识扫盲,数据库索引
  • 数据库知识点总结 -
    目录数据库介绍SQLSQL定义SQL的分类:DDL(数据定义语言:操作数据库和表)DML(数据操纵语言:操作数据(增删改))DQL(查询表中的数据记录)(重点)视图事务 数据库介绍 数据库DataBase: 用于存储和管理数...
    99+
    2021-05-02
    数据库知识点总结 -
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作