返回顶部
首页 > 资讯 > 后端开发 > Python >Amazon EBS vs S3 vs
  • 325
分享到

Amazon EBS vs S3 vs

AmazonEBS 2023-01-31 03:01:16 325人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

  在这篇文章我们解决了几个问题: 1、amazon的存储产品比较;介绍不同存储的使用场景分析; 2、s3-hosted p_w_picpaths 和EBS-backed p_w_picpaths的比较分析; 3、持久化存储和非持久存储在a

 

在这篇文章我们解决了几个问题:

1、amazon的存储产品比较;介绍不同存储的使用场景分析;

2、s3-hosted p_w_picpaths 和EBS-backed p_w_picpaths的比较分析;

3、持久化存储和非持久存储在amazon中的体现;

一、EBS和S3概述

在正式讨论不同的存储服务之前,我们大概了解一下Amazon提供存储产品S3和EBS。

1、  EBS(Elastic Block Storage)产品首页的概述。

     EBS提供块级别的存储卷给EC2 实例使用,EBS卷通过网络连接,独立于虚拟机实例生命周期。EBS提供高可用,高可靠,可预期的存储卷给正在运行的虚拟机,并呈现为一个虚拟机设备。EBS尤其适合于数据库应用、文件系统应用,或要求访问裸块级别存储的应用。

2、S3 (Simple Storage Service)产品首页概述

    S3是一个云存储(相应地EBS成为云硬盘也挺合适)。S3被设计成面向开发者易于进行规模扩展的产品。S3提供简单的WEB服务接口,可实现通过网络在任何时间、任何地点存储和获取任何数据。他给所有开发者使用与amazon用于运行自己的网站相同等级的可扩展、可靠、安全、快速、廉价的基础设施。这个服务的目标是最大化可扩展性优势,同时将这些优势交付给开发者。

关于产品的定义,可以从这些地方去查看:Http://aws.amazon.com/ebs/

二、EBS vs S3 vs Instance Store

    我尝试着给Amazon提供的存储服务进行分类,首先分为两大类,一是块设备存储服务,二是对象存储服务。其中块设备存储服务包括本地存储服务和EBS 存储;对象存储服务是S3。AWS的Storage & Content Delivery产品列表上,你会发现S3是一项单独的服务,而EBS不在其中,EBS是基于EC2的一项子服务。两者服务对象不是同一级的。  下面对不同的存储做了简单对比。

 

EBS

S3

服务对象

系统管理员

系统管理员/最终用户

服务场景

1、作为虚拟机硬盘,在虚拟机看来就像EBS就像本地的硬盘;当EC2实例失效时,EBS卷可以自动解除与该实例的关联,从而可以关联到新的实例。

2、存储EBS-backed Images。

1、存放S3-hosted Images。

2、用户可通过Http/REST api 存取文件。典型应用:网站可将静态文件存放到S3中,通过CDN网络分发到不同的区域中以提升性能;

2、可作为虚拟机EBS卷的backup &snapshot ;  快照:第一个快照是全量快照,而后的都是增量快照。一般使用快照作为新卷的起始点,所以当数据遭到破坏时就能通过回滚到某个快照来恢复数据。

连接类型

通过网络连接

通过网络连接。

服务机制

块设备,可格式化为任何OS可以识别的格式;

对象存储,桶--对象二级结构。无需在其上建文件系统,对象存储包括元数据、数据内容、数据属性。

Key features

Data availability from replication across an Availability Zone

Data persistence independent of the life of the instance

The ability to create snapshots and incremental backups

 

不足

多用户共享EBS存储带宽,服务质量(IO访问的性能)会有波动。

单个文件<1T。

单个文件<5G,高清视频搞不定。

优点

1、EBS提供了持久化的、具有独立于主机的生命周期的、高可用的块存储设备,在这一设备上可以创建支持POSIX语义的本地文件系统(或是windows本地文件系统)。

2、可针对EBS卷做snapshot,EBS故障后可通过snapshot恢复EBS卷。

面向最终用户,可直接当成云网盘来使用。

容错设计

 在不同的地方存放多份数据。

在不同的地方存放多份数据。

    物理宿主机使用的本地存储称为Instance Store,这个存储的典型特征是非持久。计划内或计划外的重启不会导致数据的丢失。当instance出现下述三种情况时,存储在instance store上的临时数据将会被清除。

1、Failure of an underlying drive (底层驱动出现故障)

2、Stopping an Amazon EBS-backed instance (使用EBS-backed作为root device的实例Stop时。)

3、Terminating an instance (虚拟机实例注销)

instance Store和instance的关系如下图所示,Host computer指的就是物理宿主机。

   在申请虚拟机时,如果你看到自己在使用ephemeral 存储就是指Instance Store这个非持久存储。Amazon为啥这样设计instance Store呢?其实你就要理解一下亚马逊的设计原则。当你关闭vm不使用,如果保留数据,那么还是占有资源,而Amazon的计费模式是关闭虚拟机就不计费的。所以亚马逊默认你关机就所有数据都丢失。

 三、s3-hosted p_w_picpaths 和EBS-backed p_w_picpaths的比较分析;

1、在EC2中创建虚拟机instance时,会提示选择Images的类型,有s3-hosted p_w_picpaths和EBS-backed p_w_picpaths两种,通俗地讲就是虚拟机镜像是存在S3或存在EBS两类。如果你使用了s3-Hosted p_w_picpaths,Images需从S3存储copy到instance Store, Amazon通常会在物理宿主机缓存好被频繁使用的Image,因此很多时候你感觉不到启动S3-hosted p_w_picpaths虚拟机因copy带来的延迟。完成虚拟机镜像copy后启动EC2 instance。

2、使用EBS-backed p_w_picpaths的虚拟机启动要快得多,当然这不是最重要的,最重要的是当你关闭虚拟机后,虚拟机的数据还在EBS上,就如同你在使用自己的电脑一样,即使你关机了,数据仍在硬盘中。当然了,为此,你得支付更多的银子。

参考文档:

http://aws.amazon.com/ec2/faqs/#What_is_the_difference_between_using_the_local_instance_store_and_Amazon_Elastic_Block_storage_for_the_root_device

http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/InstanceStorage.html

http://aws.amazon.com/documentation/

 

 

--结束END--

本文标题: Amazon EBS vs S3 vs

本文链接: https://lsjlt.com/news/187645.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Amazon EBS vs S3 vs
      在这篇文章我们解决了几个问题: 1、amazon的存储产品比较;介绍不同存储的使用场景分析; 2、s3-hosted p_w_picpaths 和EBS-backed p_w_picpaths的比较分析; 3、持久化存储和非持久存储在a...
    99+
    2023-01-31
    Amazon EBS
  • mysql_fetch_array vs mysql_fetch_assoc vs mysql_fetch_object?
    这些 mysql_* 函数已弃用,并且可以使用其他函数来提供更好的安全性和功能。 注意:作为替代方案,可以使用 _assoc 或 _row。 mysql_fetch_assoc 该函数返回与所获取的行相对应的字符串关联数组,如果没有更多行,...
    99+
    2023-10-22
  • EBS和S3的区别
    最大的区别是:EBS是块存储,S3是对象存储。EBS仅能与EC2实例结合使用。你可以把EBS想象成EC2的硬盘,如果EC2的实例挂掉,那么用来建立EC2的那个EBS卷也会挂掉(想像一下你装了windows然后把windows格了,那么C盘的...
    99+
    2023-01-31
    区别 EBS
  • PostgreSQL DBA(6) - SeqScan vs IndexScan vs Bit...
    本节介绍了PostgreSQL中数据表的三种扫描类型,分别是顺序扫描SeqScan、索引扫描IndexScan和位图堆扫描BitmapHeapScan。 一、简介 选择率=条件过滤...
    99+
    2024-04-02
  • DB插入性能大乱斗 - postgresql vs mysql vs mongodb vs oracle
    因为看到德哥的postgresql与mongodb插入100万条记录的比较文章,想动手验证一下,但结论反正让我看不懂了! 首先我是在虚拟机上测试,4核8G+存储,centos7.2,mongo3.2.9,...
    99+
    2024-04-02
  • 重建索引index rebuild online vs offline vs index coalesce vs index shrik space
    重建索引:ALTER INDEX..REBUILD ONLINE vs ALTER INDEX..REBUILD: http://blog.csdn.net/pan_tian/article/details...
    99+
    2024-04-02
  • dbms_scheduler vs dbms_job
    Although dbms_job still exists in 10gand 11g, Oracle recommends the use of dbms_scheduler in releases 1...
    99+
    2024-04-02
  • TCP VS UCP
    程序员写网络程序,主要编写的应用层代码! 真正要发这个数据,需要上层协议调用下层协议,应用层要调用传输层,则传输层给应用层提供一组api,统称为:soket api 基于UDP的api 基于TCP的api 这两个协议差别很大!!提供...
    99+
    2023-10-07
    网络
  • python3 vs python2
    一、print,在python3中已经是函数 >>> import sys >>> print("fatal error",file=sys.stderr) fatal error >>>...
    99+
    2023-01-31
  • Python VS Matlab
    如果说,哪两门程序语言的影响最大?C和Lisp可谓“千载谁堪伯仲间”。 但是,C容易入门,其衍生品C++、Java、C#应用广泛。而,Lisp呢?太难了!(如果,有人说C++的语法难,那么他/她一定没有用过Lisp。比起Lisp,C++是小...
    99+
    2023-01-31
    Python Matlab
  • Python3 vs. Python2
    导读:哪个版本的 Python 最快?Python 3 真的比 Python 2 慢吗?Python 3 最快的版本是哪个?......当然,这些问题由多种因素决定,其中的主要的因素是什么呢?我们又如何为自己的应用寻找最快的 Pytho...
    99+
    2023-01-31
  • Golang vs. VS:究竟哪个更胜一筹?
    Golang vs. VS:究竟哪个更胜一筹? 在软件开发领域,选择一种合适的编程语言和集成开发环境对于开发者来说非常重要。近年来,Golang和Visual Studio (VS)都...
    99+
    2024-02-29
    golang 对比 vs
  • PHP REST API库比较:Laravel vs Slim vs CodeIgniter
    php rest api 库比较:laravel:功能齐全的框架,开箱即用支持 restful 路由,内置身份验证和轻量级 orm。slim:轻量级微框架,专用于创建简单 rest ap...
    99+
    2024-05-12
    php rest api laravel
  • esproc vs python 4
    esprocA1=now()2=file("C:\\Users\\Sean\\Desktop\\kaggle_data\\music_project_data\\sales.csv").import@t()3=A2.groups(year(...
    99+
    2023-01-31
    esproc python
  • esproc vs python 5
    题目介绍:loan 表存储着贷款信息,包括贷款 ID,贷款总额、按月分期数、年利率。数据如下:我们的目的是列出各期明细,包括:当期还款额、当期利息、当期本金、剩余本金。esproc  A3:T.derive()新增两列月利率mRate=年利...
    99+
    2023-01-31
    esproc python
  • routed Port vs SVI
    背景:三层交换机的e0/0要工作在三层模式与另一网络设备连接。可以选择的配置方式有两种,1、routed Port,指在cisco switch中端口模式下运行no switchport后的端口类型,在routed port下可直接配置IP...
    99+
    2023-01-31
    routed Port SVI
  • 使用 Amazon S3 云服务轻松实现
      云的好处还不止这些。您还可以实现低延迟和高可用性。假设存储在 Amazon 云中的资产遍布全世界,那么为各个位置提供内容的速度将会更快。更重要的是,由于您的资产分布在各种机器上,您的数据在一些机器(或部分网络)瘫痪时也能&...
    99+
    2023-01-31
    轻松 Amazon
  • Oracle vs PostgreSQL Develop(25) - plsql vs plpgsql(语法严谨性)
    Oracle的SQL和PL/SQL...
    99+
    2024-04-02
  • Spark Streaming vs. Structured Streaming
    简介 Spark Streaming Spark Streaming是spark最初的流处理框架,使用了微批的形式来进行流处理。 提供了基于RDDs的Dstream API,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现流...
    99+
    2014-10-25
    Spark Streaming vs. Structured Streaming
  • Redis get vs. mget Benchmark
    Redis get vs. mget Benchmark 0. Background Scripts #!/bin/bash key="testkey" value="testvalue" int=0 while (($int ...
    99+
    2019-10-21
    Redis get vs. mget Benchmark
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作