返回顶部
首页 > 资讯 > 精选 >为什么du和df的统计结果会不一样
  • 437
分享到

为什么du和df的统计结果会不一样

2023-06-28 17:06:26 437人浏览 安东尼
摘要

今天给大家介绍一下为什么du和df的统计结果会不一样。文章的内容小编觉得不错,现在给大家分享一下,觉得有需要的朋友可以了解一下,希望对大家有所帮助,下面跟着小编的思路一起来阅读吧。使用du和df来获取目录或文件系统已占用空间的情况。但它们的

今天给大家介绍一下为什么du和df的统计结果会不一样。文章的内容小编觉得不错,现在给大家分享一下,觉得有需要的朋友可以了解一下,希望对大家有所帮助,下面跟着小编的思路一起来阅读吧。

使用du和df来获取目录或文件系统已占用空间的情况。但它们的统计结果是不一致的,大多数时候,它们的结果相差不会很大,但有时候它们的统计结果会相差非常大。

df的统计结果

[root@liangxu ~]# df -hTFilesystem          Type   Size  Used Avail Use% Mounted on/dev/sda2           ext4    18G  1.7G   15G  11% /tmpfs               tmpfs  491M     0  491M   0% /dev/shm/dev/sda1           ext4   239M   68M  159M  30% /boot//192.168.0.124/win cifs   381G  243G  138G  64% /mnt

du对根目录的统计结果

[root@liangxu ~]# du -sh /  2>/dev/null244G    /df中"/"的使用空间是1.7G,但是du的结果却是244G。这里du的统计结果大于df。再看看对/boot分区的统计结果。[root@liangxu ~]# df -hT /boot;echo;du -sh /bootFilesystem     Type  Size  Used Avail Use% Mounted on/dev/sda1      ext4  239M   68M  159M  30% /boot66M     /boot

du的结果是66M,df的结果是68M,相差不大,但df的结果大于du。

文件存储和删除的底层过程


这里简单说明下文件系统相关的底层机制,首先说明下文件是怎么存储到文件系统中的。假如要存储a.txt到/tmp目录下。
为什么du和df的统计结果会不一样
当a.txt文件要存储到/tmp下时:

  1.  首先从inode table中找一个空闲的inode号分配给a.txt,例如2222。再将inode map(imap)中2222这个inode号标记为已使用。

  2.  在/tmp的data block中添加一条a.txt文件的记录。该记录中包括一个指向inode号的指针,例如"0x2222"。

  3.  然后从block map(bmap)中找出空闲的data block,并开始将a.txt中的数据写入到data block中。每写一段空间(ext4每次分配一段空间)就从bmap中找一次空闲的data block,直到存完所有数据。

  4.  设置inode table中关于2222这条记录的data block指针,通过该指针可以找到a.txt使用了哪些data block。

当要删除a.txt文件时:

  1.  在inode table中删除指向a.txt的data block指针。这里只要一删除,外界就找不到a.txt的数据了。但是这个文件还存在,只是它是被"损坏"的文件,因为没有任何指针指向数据块。

  2.  在imap中将2222的inode号标记为未使用。于是这个inode号就被释放,可以被后续的文件重用。

  3.  删除父目录/tmp的data block中关于a.txt的记录。这里只要一删除,外界就看不到也找不到这个文件了。

  4.  在bmap中将a.txt占用的block标记为未使用。这里被标记为未使用后,这些data block就可以被后续文件覆盖重用。

考虑一种情况,当一个文件被删除时,但此时还有进程在使用这个文件,这时是怎样的情况呢?外界是看不到也找不到这个文件的,所以删除的过程已经进行到了第(3)步。

但进程还在使用这个文件的数据,也能找到这个文件的数据,是因为进程在加载这个文件的时候就已经获取到了该文件占用哪些data block,虽然删除了文件,但bmap中这些data block还没有标记为未使用。

du统计的原理

du是通过stat命令来统计每个文件(包括子目录)的空间占用总和。因为会对每个涉及到的文件使用stat命令,所以速度较慢。
如果统计目录下挂载了其他文件系统,那么也会对这个文件系统进行统计。例如"du -sh /"的时候,会统计所有分区的文件,包括挂载上来的。正如本文开头统计的"/"一样,du的结果是244G,明显比df统计的结果大,就是因为将某个分区挂载到了/mnt目录下。

## df的统计结果[root@liangxu ~]# df -hTFilesystem          Type   Size  Used Avail Use% Mounted on/dev/sda2           ext4    18G  1.7G   15G  11% /tmpfs               tmpfs  491M     0  491M   0% /dev/shm/dev/sda1           ext4   239M   68M  159M  30% /boot//192.168.0.124/win cifs   381G  243G  138G  64% /mnt## du对根目录的统计结果[root@liangxu ~]# du -sh /  2>/dev/null244G    /

如果文件被删除,即使被其他进程引用了,du命令也无法对其统计。因为stat命令找不到这个文件。
可以跨分区统计某些你想统计的文件大小总和。因为它们都能被stat找到并统计。例如:统计linux下所有img文件的大小。

## df的统计结果[root@liangxu ~]# find / -type f -name "*.img" -print0 | xargs -0 du -csh19M     /boot/initramfs-2.6.32-504.el6.x86_64.img13M     /mnt/linux工具/cirros-0.3.4-x86_64-disk.img31M     total

这里统计的两个img文件就是在不同分区内的。

df统计的原理

df是读取每个分区的superblock来获取空闲数据块、已使用数据块,从而计算出空闲空间和已使用空间,因此df统计的速度极快(superblock才占用1024字节)。
当某个文件系统下挂载了其他分区,df不会把这个分区也统计进去。这很容易理解,因为df读取的是各自分区的superblock,即使分区1挂载在分区0的目录下,df统计分区0的时候,也只能读取分区0的superblock。
例如,下面的/mnt、/boot都没有统计在"/"中。

[root@liangxu ~]# df -hTFilesystem          Type   Size  Used Avail Use% Mounted on/dev/sda2           ext4    18G  1.7G   15G  11% /tmpfs               tmpfs  491M     0  491M   0% /dev/shm/dev/sda1           ext4   239M   68M  159M  30% /boot//192.168.0.124/win cifs   381G  243G  138G  64% /mnt

由于df每次统计都是读取superblock,所以df对文件系统中的某个文件进行统计时,会自动转为统计这个文件系统的信息。

[root@liangxu ~]# df -hT /etc/fstabFilesystem     Type  Size  Used Avail Use% Mounted on/dev/sda2      ext4   18G  1.7G   15G  11% /

df会统计已删除但却仍有进程引用的文件。

正常情况下,删除文件会立刻释放相关指针,并将imap和bmap中相关的位图标记为未使用。bmap只要一改变,文件系统立刻就能知道每个块组中哪些数据块是空闲的,哪些数据块是被使用的,这些信息都会更新到分区的superblock中。于是df能立刻统计到实时的空间信息。

但是当一个文件被删除时,如果还有进程在引用这个文件,根据前文的分析,bmap中不会将这个文件的data block标记为未使用,也就不会将数据块的使用情况更新到superblock中。由于df是根据superblock中空闲和使用数据块的数量来计算空闲空间和已使用空间的,所以df统计的时候会将这个已被"删除"的文件统计到已使用空间中。

例如,创建一个较大一点的文件放在"/"目录下,并du和df统计根目录的已使用空间。

[root@liangxu ~]# dd if=/dev/zero of=/my.iso bs=1M count=1000[root@liangxu ~]# df -hT /Filesystem     Type  Size  Used Avail Use% Mounted on/dev/sda2      ext4   18G  2.7G   14G  17% /[root@liangxu ~]# du -sh --exclude="/mnt" / 2>/dev/null2.7G    /

它们在GB级的单位上是相等的。现在使用一个进程来引用这个文件,然后删除这个文件,再du和df统计。

[root@liangxu ~]# tail -f /my.iso &[root@liangxu ~]# rm -rf /my.iso[root@liangxu ~]# ls /my.isols: cannot access /my.iso: No such file or directory[root@liangxu ~]# du -sh --exclude="/mnt" / 2>/dev/null1.8G    /[root@liangxu ~]# df -hT /Filesystem     Type  Size  Used Avail Use% Mounted on/dev/sda2      ext4   18G  2.7G   14G  17% /

可以发现,外界已经获取不到my.iso文件了,所以du无法统计这个文件。而df却将该文件大小统计进去了,因为my.iso占用的data block还未被标记为未使用。再关掉tail进程,然后df再统计空间,结果将和du一样显示为正常的大小。

[root@liangxu ~]# jobs[1]+  Running                 tail -f /my.iso &[root@liangxu ~]# kill %1[root@liangxu ~]# df -hT /Filesystem     Type  Size  Used Avail Use% Mounted on/dev/sda2      ext4   18G  1.7G   15G  11% /

如果不知道文件系统中哪些已被删除,但却还被进程引用的文件,可以使用lsof来获取。通过它还能获取到文件的大小,看看到底是哪个文件在"占着茅坑以及占了多少茅坑"。例如,关掉tail进程前,使用lsof查看。可以看到tail进程占用了/my.iso,且这个文件的大小为1048576000字节。

[root@liangxu ~]# lsof | grep deletedPHP-fpm   12597      root  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)php-fpm   12657    nobody  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)php-fpm   12707    nobody  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)php-fpm   12708    nobody  txt     REG   8,2    4058416   931143 /usr/sbin/php-fpm (deleted)tail      14437      root    3r    REG   8,2 1048576000     7171 /my.iso (deleted)

以上就是为什么du和df的统计结果会不一样的全部内容了,更多与为什么du和df的统计结果会不一样相关的内容可以搜索编程网之前的文章或者浏览下面的文章进行学习哈!相信小编会给大家增添更多知识,希望大家能够支持一下编程网!

--结束END--

本文标题: 为什么du和df的统计结果会不一样

本文链接: https://lsjlt.com/news/320793.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 为什么du和df的统计结果会不一样
    今天给大家介绍一下为什么du和df的统计结果会不一样。文章的内容小编觉得不错,现在给大家分享一下,觉得有需要的朋友可以了解一下,希望对大家有所帮助,下面跟着小编的思路一起来阅读吧。使用du和df来获取目录或文件系统已占用空间的情况。但它们的...
    99+
    2023-06-28
  • 如何分析Linux命令du和df统计结果差异
    这篇文章跟大家分析一下“如何分析Linux命令du和df统计结果差异”。内容详细易懂,对“如何分析Linux命令du和df统计结果差异”感兴趣的朋友可以跟着小编的思路慢慢深入来阅读一下,希望阅读后能够对大家有所帮助。下面跟着小编一起深入学习...
    99+
    2023-06-28
  • Linux下du -sh和ls -lh显示磁盘占用不一样的原因是什么
    这篇文章将为大家详细讲解有关Linux下du -sh和ls -lh显示磁盘占用不一样的原因是什么,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。原因du -sh *计算的是文件存储到磁盘中占用了多少空间,计...
    99+
    2023-06-15
  • 云服务器的ip地址会变嘛为什么不一样
    云服务器的IP地址是动态分配的,这意味着在一个地方访问云服务器时,它会自动分配一个固定的IP地址,而在另一个地方访问时,它会重新分配一个新的IP地址。这样可以提高云服务器的性能和可靠性,并使它们更易于管理和维护。 在过去,云服务器的IP地...
    99+
    2023-10-28
    地址 服务器 ip
  • 云服务器的带宽和本地带宽一样吗为什么不一样
    云服务器是一种虚拟服务器,通常用于在云计算平台上托管和管理大量的计算资源。然而,它的带宽和本地带宽是两种不同的资源。 云服务器本地运行计算机,但它使用了更高端的硬件和软件,可以提供更好的性能和更快的响应时间。这些硬件通常使用光纤或铜缆与云...
    99+
    2023-10-26
    带宽 服务器
  • 购买国外专用服务器价格为什么会不一样
    购买国外专用服务器价格不一样的原因有:1、机房网络接入线路不同,租用国外专用服务器的价格就不同;2、硬件配置选择不同,租用国外专用服务器的价格就不同,配置越高,租用价格越贵;3、带宽大小选择不同,租用国外专用服务器的价格就不同,独享带宽比共...
    99+
    2024-04-02
  • 同一段程序在Java和C中的不同结果是怎么样的
    今天就跟大家聊聊有关同一段程序在Java和C中的不同结果是怎么样的,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。C语言:#include <stdio.h>&n...
    99+
    2023-06-17
  • 云服务器为什么公网和内网不一样
    内网IP是由路由器分配给每一部内部设备使用的IP地址。而外网IP仅分配给一个网络设备,具有全球唯一性。在内网中所有用户都是通过同一个外网IP地址进行上网的,他们的IP地址每个人的都不一样,Internet上的用户也无法直接访问到内网用户。...
    99+
    2024-04-02
  • VNPY 批量策略回测和统计结果的excel输出是怎样的
    小编今天带大家了解VNPY 批量策略回测和统计结果的excel输出是怎样的,文中知识点介绍的非常详细。觉得有帮助的朋友可以跟着小编一起浏览文章的内容,希望能够帮助更多想解决这个问题的朋友找到问题的答案,下面跟着小编一起深入学习“VNPY 批...
    99+
    2023-06-05
  • 如何在MySQL中设计一个灵活的会计系统表结构以支持复杂的会计科目和维度?
    如何在MySQL中设计一个灵活的会计系统表结构以支持复杂的会计科目和维度?在设计一个灵活的会计系统表结构时,首先需要考虑到会计科目和维度的复杂性。会计科目通常包括资产、负债、所有者权益、收入和费用等类别,而维度则包括时间、地区、部门、产品和...
    99+
    2023-10-31
    MySQL 表结构 会计系统
  • 为什么ASP.NETCore数据库连接串的值和appsettings.json配的不一样?
    目录一、配置读取顺序二、分析三、演示1.读取Providers2.读取配置值一、配置读取顺序 ASP.NET Core 中的配置是使用一个或多个配置提供程序执行的,配置提供程序使用各...
    99+
    2024-04-02
  • 为什么windows与linux ping 显示的ip不一样
    这期内容当中小编将会给大家带来有关为什么windows与linux ping 显示的ip不一样,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。DNS修改了一下域名对应的IP后,域名不能访问了,我在windo...
    99+
    2023-06-05
  • 云服务器的带宽和流量有关吗为什么不一样
    云服务器带宽是指云服务器可以接收的数据传输带宽,它包括CPU内存带宽和网络带宽。带宽越高,云服务器能够处理的数据量越大,能够支持的应用也就越多。因此,带宽对于云服务器的性能影响非常大。 但是,与传统的物理服务器不同,云服务器可以根据用户的...
    99+
    2023-10-28
    流量 带宽 服务器
  • ASP.NET Core数据库连接串的值为什么和appsettings.json配的不一样
    这篇“ASP.NET Core数据库连接串的值为什么和appsettings.json配的不一样”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收...
    99+
    2023-06-29
  • 如何在MySQL中设计一个灵活的会计系统表结构以应对不同的财务政策和规定?
    如何在MySQL中设计一个灵活的会计系统表结构以应对不同的财务政策和规定?引言:随着企业业务的迅速发展和财务管理的日益重要,设计一个灵活的会计系统是非常重要的。灵活的会计系统能够适应不同的财务政策和规定,并满足企业的业务需求。本文将介绍如何...
    99+
    2023-10-31
    数据库表设计 灵活性 会计系统
  • mysql互为主从的环境为什么会出现数据不一致
    本篇内容介绍了“mysql互为主从的环境为什么会出现数据不一致”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成...
    99+
    2024-04-02
  • 为什么php文件不能输出结果?原因和解决方案
    作为一门流行的后端编程语言,PHP的应用广泛。然而,有些开发者在编写PHP程序时会遇到一个问题:PHP文件不能输出结果。那么是什么原因导致这种情况的发生呢?本文将为您详细介绍。一、PHP输出的原理在介绍问题原因之前,我们需要了解PHP输出的...
    99+
    2023-05-14
    php
  • cn2香港主机的租用价格为什么不一样
    cn2香港主机租用价格不一样的原因有:1、主机配置选择不同,包括磁盘容量大小、流量、IIS链接数、宽带等配置,租用香港主机的价格就不同;2、香港主机严格限制IP下存放网站的数量,IP的平均费用会高一些;3、香港主机采用BGP多线和国际宽带,...
    99+
    2024-04-02
  • redis中set和hset有什么不一样的地方
    这篇文章将为大家详细讲解有关redis中set和hset有什么不一样的地方,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。redis中存数据时,到底什么时候用  ...
    99+
    2024-04-02
  • 云服务器的带宽和本地带宽一样吗为什么不能用
    云服务器(Cloud Server)通常可以提供较高的带宽和较低的延迟,但是它们的使用方式和本地带宽不同,因此不能直接替代本地带宽。 云服务器是指在云计算平台上使用虚拟服务器作为基础设施,为用户提供虚拟化、自动化、负载均衡等服务,用户只需...
    99+
    2023-10-26
    带宽 不能用 服务器
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作