返回顶部
首页 > 资讯 > 精选 >为什么在内存中下载比从 aws s3 在文件系统中下载慢?
  • 513
分享到

为什么在内存中下载比从 aws s3 在文件系统中下载慢?

overflow 2024-02-09 12:02:06 513人浏览 泡泡鱼
摘要

为什么在内存中下载比从AWS S3在文件系统中下载慢? 在下载文件时,我们通常会选择从AWS S3存储桶中下载到本地文件系统。然而,有时候我们会发现,使用内存中的下载方式比直接从S3

为什么在内存中下载比从AWS S3在文件系统中下载慢? 在下载文件时,我们通常会选择从AWS S3存储桶中下载到本地文件系统。然而,有时候我们会发现,使用内存中的下载方式比直接从S3下载到文件系统要慢。这是因为在内存中下载涉及到一些额外的步骤和资源消耗。首先,内存中的下载需要将文件内容读取到内存中,然后再将其写入到文件系统中。这个过程中涉及到了额外的内存操作和io操作,相比直接从S3下载到文件系统,会导致下载速度变慢。另外,内存中的下载还可能受到内存限制的影响,当下载的文件较大时,可能会导致内存不足的问题,进而影响下载速度。因此,在选择下载方式时,需要根据具体情况权衡利弊,选择最适合的方式来进行下载操作。

问题内容

我正在使用aws Gosdk从某个存储桶下载。下面是下载的两种实现

  1. 下载到文件
func (a *awsclient) downloadtofile(ctx context.context, objecTKEy string) (string, error) {
    params := &awss3.getobjectinput{
        bucket: aws.string(a.bucket),
        key:    aws.string(objectkey),
    }

    downloadpath := "some/valid/path"
    f, err := os.create(downloadpath)
    defer f.close()
    _, err = a.downloader.download(ctx, f, params)
    return downloadpath, err
}
  • 下载到内存
  • func (a *AwsClient) DownloadToMemory(ctx context.Context, objectKey string) (string, error) {
        params := &awsS3.GetObjectInput{
            Bucket: aws.String(a.bucket),
            Key:    aws.String(objectKey),
        }
    
        buffer := manager.NewWriteAtBuffer([]byte{})  
        _, err = a.downloader.Download(ctx, buffer, params)
        return buffer.Bytes(), err
    }

    对于 100 mb 的文件,下载到内存中需要 30 秒,下载到文件系统中只需要 8 秒。我的期望是内存下载应该快得多。我的系统(apple m1、ventura、8gb ram)有足够的可用 ram,所以这不是问题。有人可以帮助我理解这种行为吗?

    解决方法

    将大的 S3 对象下载到动态缓冲区中效率非常低。该缓冲区被重新分配多次以处理 100M 数据和多个下载线程。内存重新分配需要大量 CPU 时间。

    尝试在开始时分配 100M,而不是使用空字节片。

    如果对象大小未知,您可以使用 S3.HeadObject 实时获取对象长度。

    以上就是为什么在内存中下载比从 aws s3 在文件系统中下载慢?的详细内容,更多请关注编程网其它相关文章!

    --结束END--

    本文标题: 为什么在内存中下载比从 aws s3 在文件系统中下载慢?

    本文链接: https://lsjlt.com/news/562504.html(转载时请注明来源链接)

    有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

    猜你喜欢
    软考高级职称资格查询
    编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
    • 官方手机版

    • 微信公众号

    • 商务合作