返回顶部
首页 > 资讯 > 后端开发 > Python >aws S3使用总结
  • 911
分享到

aws S3使用总结

aws 2023-01-31 07:01:52 911人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

  最近公司要上海外项目,要用到亚马逊。可把我折腾的够呛。好多坑。不得不说亚马逊的东西挺好最起码服务器性能比阿里云强多了。但在人性化这一点做的不如阿里。反正是各有千秋  这里说一下我的案例:要把图片cdn上的图片传到S3。这里我试了很多方法

  最近公司要上海外项目,要用到亚马逊。可把我折腾的够呛。好多坑。不得不说亚马逊的东西挺好最起码服务器性能比阿里云强多了。但在人性化这一点做的不如阿里。反正是各有千秋

  这里说一下我的案例:要把图片cdn上的图片传到S3。这里我试了很多方法。把cdn的图片下载到本地通过挂载s3来cp,效果不是很好,官方也不建议这么做。s3cmd,s3的一个命令行工具。在文件数量很多的情况下很耗费资源。分析了下原因是什么导致的。经过网友的一番提点,觉得可能是他默认传输走的是外网。结果用traceroute解析了下还真是。这可是把我折磨够呛。

  解决方法:在数据量很大的情况下,用s3cmd. s3fs 或者是aws 自带的工具传输数据,都不如内网传输效率要快。EC2 传数据到S3存储。默认走的是外网,如果想要走内网传输需要创建VPC终端节点。这里写一下他的教程

1.打开VPC控制台

wKioL1iAXsWTkPkHAABMcd5-HBc839.png

2.选择终端节点

wKioL1iAXxuTMA7XAACV8xOOy4k663.png

VPC这里选择的是跟你EC2主机关联的vpc策略

服务这里选的是S3服务

3.配置路由表,创建终端节点

wKioL1iAX1HCfieZAACOvuzqf18720.png

4.测试

这时候我们再传输数据的时候。用iftop -i eth0查看一下他的带宽

wKioL1iAX3yiwuJtAAAf-Sg1SZo714.png

这里出现了两个地址,左边的地址是ec2的私有dns。右边的地址解析是S3的地址。通过解析你能看到

wKioL1iAX4ag8QG3AAA6fGK6uTA274.png

--结束END--

本文标题: aws S3使用总结

本文链接: https://lsjlt.com/news/191351.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • aws S3使用总结
      最近公司要上海外项目,要用到亚马逊。可把我折腾的够呛。好多坑。不得不说亚马逊的东西挺好最起码服务器性能比阿里云强多了。但在人性化这一点做的不如阿里。反正是各有千秋  这里说一下我的案例:要把图片cdn上的图片传到S3。这里我试了很多方法...
    99+
    2023-01-31
    aws
  • AWS S3在Laravel中如何使用
    今天小编给大家分享一下AWS S3在Laravel中如何使用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。AWS S3 为我...
    99+
    2023-06-29
  • AWS S3 让IAM用户可以list
    使用Cloudberry Explorer是,如果没有加入此权限,用户是无法在打开软件的时候自动让其列出所有S3 bucket的,因此在IAM中需要给用户加上这个S3的Permission policy如下: {"Statement": ...
    99+
    2023-01-31
    用户可以 AWS list
  • 在适用于 Go 的 aws-sdk-go-v2 中添加 AWS s3 的 Presign URL 过期
    有志者,事竟成!如果你在学习Golang,那么本文《在适用于 Go 的 aws-sdk-go-v2 中添加 AWS s3 的 Presign URL 过期》,就很适合你!文章讲解的知识点主要包括,若...
    99+
    2024-04-05
  • redis 使用总结
    最近一段时间与redis接触比较频繁。发现有些东西还是工作中经常会用到的,自己也花了点时间巩固下。本篇文章主要是以总结性的方式梳理,因为redis的主题很大,任何一个技术点展开都是几篇文章的量。也可以说这篇...
    99+
    2024-04-02
  • BigDecimal使用总结
    对于超过16位的大型数字,需要用到Java在java.math包中提供的API类BigDecimal,而且也不是传统的+-*/,而是调用对应的方法。 1.创建对象 使用new的方式创建BigDecim...
    99+
    2023-09-03
    java BigDecimal
  • w3m使用总结
    ...
    99+
    2023-01-31
    w3m
  • sqlite3使用总结
           OS X自从10.4后把SQLite这套相当出名的数据库软件,放进了作业系统工具集里。OS X包装的是第三版的SQLite,又称SQLite3。这套软件有几个特色:软件属于公共财(public domain),SQLite可说...
    99+
    2023-01-31
  • clipboard.js使用总结
    目录(1)介绍: (2)clipboard复印内容的方式有 (3)Function操作有两种: (4)通过属性返回复印的内容 (5)函数和属性的兼容方式 (1)介绍: clipbo...
    99+
    2024-04-02
  • Android ProgressDialog使用总结
    ProgressDialog 继承自AlertDialog,AlertDialog继承自Dialog,实现DialogInterface接口。 ProgressDialog的创...
    99+
    2022-06-06
    progressdialog Android
  • Java ArrayList使用总结
    目录类图源码解析新增和扩容实现扩容的本质删除总结提起ArrayList,相信很多小伙伴都用过,而且还不少用。但在几年之前,我在一场面试中,面试官要求说出ArrayList的扩容机制。...
    99+
    2024-04-02
  • Memcached使用总结之:使用Pyt
    Python连接memcached的库有很多,处于简单以及高效的原则,最终选择了pymemcache, 优点 完全实现了memcached text协议对于send/recv操作可以配置timeout支持"noreply"特性,该可行可...
    99+
    2023-01-31
    Memcached Pyt
  • MySQL 使用规范总结
    1.必须使用InnoDB存储引擎 有更好的CPU和IO性能,更好的备份和锁表机制,提高统计和调试效率。 另外,作为一 个系统,InnoDB支持多种关键功能,其中最重要的是事务日志和行级锁。事务日志记录真正的数据库事务...
    99+
    2022-05-24
    MySQL 使用规范 MySQL 规范
  • Android ViewPager 的使用总结
    在一个窗口里面添加tab便签,完成便签切换来实现页面的切换,这样的好处是可以在同一个窗口里面有多个页面,这些页面共享同一个窗口的资源,同使用多个窗口来实现这个功能来得更加流畅!...
    99+
    2022-06-06
    viewpager Android
  • JavaScript JSON.stringify()的使用总结
    目录一、使用方法 1、基本用法 2、第二个参数--过滤器 3、第三个参数--字符串缩进 4、toJSON()方法--自定义JSON序列化 二、使用场景 1、判断数组是否包含某对象,或...
    99+
    2024-04-02
  • Android ViewModel的使用总结
    目录基本使用 MainRepositoryMainViewModelMainActivityViewModel 相关问题是高频面试题。主要源于它是 MVVM 架构模式的重要组件,并且...
    99+
    2024-04-02
  • javaspi最全使用总结
    目录前言一、JDK中SPI的使用规范案例展示SPI优点SPI缺点SPI机制在实际生产中的一个应用二、DUbbo 中SPI的使用Dubbo 的 SPI 举例三、springboot 中...
    99+
    2024-04-02
  • MongoDB使用场景总结
    很多人比较关心 MongoDB 的适用场景,也有用户在话题里分享了自己的业务场景,比如 案例1 用在应用服务器的日志记录,查找起来比文本灵活,导出也很方便。也是给应用练手,从外围系统...
    99+
    2024-04-02
  • adb 使用命令总结
    adb修改系统属性实现: 方法一: adb root 2.adb remount 3.adb shell 4.busybox vi system/build.prop (执行上述命令后会通过vi打...
    99+
    2023-08-31
    adb iot 经验分享 adb指令
  • pytest使用问题总结
    问题一、AttributeError: module 'pytest' has no attribute 'allure'解决方法:pip3 uninstall pytest-allure-adaptorpip3 install allur...
    99+
    2023-01-31
    pytest
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作