返回顶部
首页 > 资讯 > 精选 >让gzip压缩速度加快的解决方法是什么
  • 482
分享到

让gzip压缩速度加快的解决方法是什么

2023-06-13 03:06:44 482人浏览 泡泡鱼
摘要

让gzip压缩速度加快的解决方法是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。pig是是什么代码如下:A parallel implementation of gzip

让gzip压缩速度加快的解决方法是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

pig是是什么


代码如下:


A parallel implementation of gzip for modernmulti-processor, multi-core Machines。


简单的说,就是支持并行的gzip。废话不多说,开始测试

pig默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则并发8个线程

一、测试压缩包文件1

代码如下:


压缩前
-rw-r--r-- 1 root root 2474772480 Dec  3 19:54 dbs.tar</p><p>1、gzip测试
压缩耗时,CPU最高:101.6%
real    2m18.042s
user    2m10.204s
sys     0m6.876s</p><p>解压缩耗时,CPU最高:101.6%
real    0m26.756s
user    0m20.175s
sys     0m6.580s</p><p>压缩后
-rw-r--r-- 1 root root 2349563863 Dec  3 19:54 dbs.tar.gz</p><p>2、pigz测试
并发8线程(默认):
压缩耗时,CPU最高:832%
real    0m21.710s
user    2m31.229s
sys     0m9.101s</p><p>解压缩耗时,CPU最高:199%
real    0m13.239s
user    0m11.791s
sys     0m12.426s</p><p>并发4线程:
压缩耗时,CPU最高:427.6%
real    0m38.299s
user    2m30.701s
sys     0m8.369s</p><p>解压缩耗时,CPU最高:202%
real    0m13.294s
user    0m12.154s
sys     0m11.862s</p><p>压缩后
-rw-r--r-- 1 root root 2350161547 Dec  3 19:54 dbs.tar.gz</p><p>二、测试压缩包文件2
压缩前
-rw-r--r-- 1 root root 5248890880 Dec  3 20:26 mysql-5.5.28-linux2.6-x86_64.tar</p><p>1、gzip测试
压缩耗时,CPU最高:101%
real    6m20.524s
user    6m2.466s
sys     0m7.410s</p><p>解压缩耗时,CPU最高: 101%
real    0m58.893s
user    0m46.258s
sys     0m11.944s</p><p>压缩后
-rw-r--r-- 1 root root 1410045513 Dec  3 20:26 Mysql-5.5.28-linux2.6-x86_64.tar.gz</p><p>2、pigz测试
并发8线程(默认):
压缩耗时,CPU最高: 799%
real    1m11.908s
user    6m36.717s
sys     0m9.860s</p><p>解压缩耗时,CPU最高:179%
real    0m33.188s
user    0m38.069s
sys     0m16.728s</p><p>并发4线程:
压缩耗时,CPU最高: 418%
real    1m41.547s
user    6m36.782s
sys     0m9.806s</p><p>解压缩耗时,CPU最高: 179%
real    0m33.120s
user    0m37.500s
sys     0m16.956s</p><p>压缩后
-rw-r--r-- 1 root root 1406061442 Dec  3 20:26 mysql-5.5.28-linux2.6-x86_64.tar.gz



1、pigz默认用法(默认并发线程是逻辑cpu个数)可比gzip快5.3倍,CPU消耗则是gzip的8倍,压缩比则相当;
2、并发8线程对比4线程提升:41.2%,16线程对比8线程提升:27.9%,32线程对比16线程提升:3%;
3、在对压缩效率要求较高、但对短时间内CPU消耗较高不受影响的场景,使用pigz非常合适。

看完上述内容,你们掌握让gzip压缩速度加快的解决方法是什么的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注编程网精选频道,感谢各位的阅读!

--结束END--

本文标题: 让gzip压缩速度加快的解决方法是什么

本文链接: https://lsjlt.com/news/264732.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 让gzip压缩速度加快的解决方法是什么
    让gzip压缩速度加快的解决方法是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。pig是是什么代码如下:A parallel implementation of gzip ...
    99+
    2023-06-13
  • Hadoop中的压缩与解压缩方法是什么
    这篇文章主要介绍“Hadoop中的压缩与解压缩方法是什么”,在日常操作中,相信很多人在Hadoop中的压缩与解压缩方法是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Hadoop中的压缩与解压缩方法是什么...
    99+
    2023-06-21
  • 让Linux系统开机速度更快的方法是什么
    本篇文章为大家展示了让Linux系统开机速度更快的方法是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。在所有我拥有或使用过的电脑中,启动最快的那台是 20 世纪 80 年代的电脑。在你把手从电源...
    99+
    2023-06-05
  • Python文件的压缩与解压方法是什么
    本篇内容介绍了“Python文件的压缩与解压方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!前言:Python在人工智能,后台服务等...
    99+
    2023-06-30
  • 云服务器怎么加速运行速度快的方法是
    一、选择合适的服务器配置 云服务器需要大量的计算和存储资源来支持它的运行,因此需要选择合适的服务器配置。不同的云服务商提供的配置和价格可能不同,需要根据自己的实际需求选择。在选择配置时,需要考虑到自己的计算和存储需求,选择适合自己的配置。...
    99+
    2023-10-28
    速度快 服务器 方法
  • gzip压缩文件底层结构及文件损坏的修复方法是什么
    本文小编为大家详细介绍“gzip压缩文件底层结构及文件损坏的修复方法是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“gzip压缩文件底层结构及文件损坏的修复方法是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知...
    99+
    2023-06-04
  • Android数据压缩的方法是什么
    本文小编为大家详细介绍“Android数据压缩的方法是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“Android数据压缩的方法是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。1. 前言在开发中我们难免...
    99+
    2023-07-05
  • 在线sql压缩的方法是什么
    在线SQL压缩的方法通常包括以下几种: 使用数据库管理工具:一些数据库管理工具如Navicat等提供了在线SQL压缩的功能,用户...
    99+
    2024-03-06
    sql
  • json字符串压缩的方法是什么
    将JSON字符串压缩的方法可以通过以下步骤实现: 移除所有空格和换行符:可以使用正则表达式或字符串替换方法将所有空格和换行符删除。...
    99+
    2024-03-01
    json
  • ubuntu压缩文件夹的方法是什么
    在Ubuntu中,可以使用以下方法来压缩文件夹: 使用zip命令:可以使用以下命令将文件夹压缩为一个zip文件: zip -r ...
    99+
    2024-04-02
  • IE8兼容性问题的快速解决方法是什么
    IE8兼容性问题的快速解决方法是什么,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。为了实现IE8兼容基于其它网页标准开发的网站,IE8还专门提...
    99+
    2024-04-02
  • C#压缩Access数据库的方法是什么
    这篇文章主要介绍“C#压缩Access数据库的方法是什么”,在日常操作中,相信很多人在C#压缩Access数据库的方法是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”C#压缩Access数据库的方法是什么...
    99+
    2023-06-17
  • windows中psd文件压缩的方法是什么
    这篇文章主要介绍“windows中psd文件压缩的方法是什么”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“windows中psd文件压缩的方法是什么”文章能帮助大家...
    99+
    2023-01-29
    windows
  • windows中winrar分卷压缩的方法是什么
    本文小编为大家详细介绍“windows中winrar分卷压缩的方法是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“windows中winrar分卷压缩的方法是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧...
    99+
    2023-07-04
  • python读取压缩文件的方法是什么
    Python中读取压缩文件的方法通常是使用相关的库来解压缩文件,然后再读取文件内容。常用的库有zipfile和tarfile。 使...
    99+
    2024-03-06
    python
  • sql在线压缩文件的方法是什么
    SQL数据库不支持直接压缩和解压文件,因为其主要职责是存储和管理数据。然而,你可以使用一些其他方法来在SQL中实现压缩和解压文件的功...
    99+
    2024-04-09
    sql
  • 快速打造App的方法是什么
    这期内容当中小编将会给大家带来有关快速打造App的方法是什么,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。几年前,做App还是土豪和移动开发者的专利。移动开发者使用Java或者C++这类开发工具,将一行行...
    99+
    2023-06-12
  • Python快速入门的方法是什么
    这篇文章主要介绍“Python快速入门的方法是什么”,在日常操作中,相信很多人在Python快速入门的方法是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python快速入门的方法是什么”的疑惑有所帮助!...
    99+
    2023-06-17
  • php快速入门的方法是什么
    要快速入门PHP,可以按照以下步骤进行:1. 下载和安装PHP:首先,需要下载并安装PHP的最新版本。可以从PHP官方网站(http...
    99+
    2023-08-30
    php
  • golang快速排序的方法是什么
    Golang中实现快速排序的方法如下: package main import "fmt" func mai...
    99+
    2024-02-29
    golang
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作