返回顶部
首页 > 资讯 > 后端开发 > Python >利用s3fs 将 s3 bucket 挂
  • 300
分享到

利用s3fs 将 s3 bucket 挂

s3fsbucket 2023-01-31 07:01:52 300人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

S3fs是基于FUSE的文件系统,允许linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。关于s3fs-fuse的功能、使用方法、下载可参考:https://GitHub.com/s3fs-fuse/

S3fs是基于FUSE的文件系统,允许linuxMac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。关于s3fs-fuse的功能、使用方法、下载可参考:https://GitHub.com/s3fs-fuse/s3fs-fuse

1、本文主要介绍将s3的bucket挂载到Linux的目录上,当做本地磁盘使用。所以首先要创建s3的bucket,例:
wKioL1h-_oCDJXN3AAA2GYI3WgA338.png


2、将s3 bucket挂载到 本地目录时需要有访问 s3 bucket的权限,所以接下来需要准备IAM用户的访问密钥ID和访问密钥。注意:在点击“创建访问密钥”按钮后系统会创建“密钥ID”及“密钥”(私钥),但该“密钥”只会在创建时显示一次,以后再也无法复现,所以这也是下载或保存密钥唯一的一次机会。如下图所示:
wKiom1h-_qThV4GSAAF-RQB3BGA932.png


3、将密钥ID及密钥保存成一个密钥文件,文件格式必须是 :  

IAM用户访问密钥ID: IAM用户访问密钥

而且该文件权限必须为600

如下图所示:
wKioL1h-_jniOgM-AABqGrlcAQo653.png


4、按下来安装 s3fs-fuse:

1) 下载 、编译、安装

yum install automake fuse fuse-devel GCc-c++ git libcurl-devel libxml2-devel make openssl-devel

git clone Https://github.com/s3fs-fuse/s3fs-fuse.git

cd s3fs-fuse

./autogen.sh

./configure

make

make install

如下图所示:

wKioL1h-__PyHZKUAAT3QUhfKAI871.png

2)验证是否安装成功

wKioL1h_AG2xAL0XAADznsaKBIw796.png


5、最后实现手工挂载s3 bucket

S3fs BUCKET MOUNTPOINT [OPTioN]

s3fs yeecall-s3fs-mount-bucket /new/ -o passwd_file=./test -o endpoint=ap-northeast-1

如下图所示:

wKioL1h_ARLAzeGgAAI7T9gdY4Q387.png


6、最后可将相关参数放入fstab中,实现自动挂载


s3fs#mybucket /path/to/mountpoint fuse _netdev,allow_other 0 0
or
mybucket /path/to/mountpoint fuse.s3fs _netdev,allow_other 0 0

也可以将密钥ID和密钥存放入全局默认的密钥文件中:

echo MYIDENTITY:MYCREDENTIAL > /etc/passwd-s3fs
chmod 600 /etc/passwd-s3fs


7、可将s3fs 的相关进程kill掉,以达到卸载目的

--结束END--

本文标题: 利用s3fs 将 s3 bucket 挂

本文链接: https://lsjlt.com/news/191574.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 利用s3fs 将 s3 bucket 挂
    S3fs是基于FUSE的文件系统,允许Linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式。关于s3fs-fuse的功能、使用方法、下载可参考:https://github.com/s3fs-fuse/...
    99+
    2023-01-31
    s3fs bucket
  • 将数据从 S3 加载到 Snowflake,并按 1 by 1 的顺序调用 lambda
    问题内容 我正在尝试使用 lambda 将数据从 S3 存储桶文件夹加载到雪花表。我设置了一个 S3 触发器,其中我的文件被摄取,并在 lambda 和雪花之间形成集成,以将传入文件加...
    99+
    2024-02-09
  • Linux中利用mount命令进行挂载
    mount mount命令用于挂载Linux系统之外的文件。 挂载是指将硬件设备的文件系统和Linux系统中的文件系统,通过指定目录(挂载点)进行关联。 参数 参数说明-h帮助文档-V显示版本-a挂载...
    99+
    2023-09-09
    linux 运维 服务器
  • Linux 中怎么利用mount命令挂载CDROM
    Linux 中怎么利用mount命令挂载CDROM,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。例如:用mount命令来挂载cdrom命令:mount -t a...
    99+
    2023-06-12
  • 如何利用阿里云服务器挂机
    阿里云服务器作为一款强大且灵活的云服务产品,可以满足各种企业或个人的需求。其中,挂机功能是许多用户的重要需求之一。本文将详细解释如何利用阿里云服务器挂机,帮助您更好地利用阿里云服务器。 一、如何利用阿里云服务器挂机?创建阿里云服务器首先,您...
    99+
    2023-11-10
    阿里 服务器
  • 利用cython将python转为c代码
    1. 安装cython 2. cython test.py --embed 3. gcc `python-config --cflags` `python-config --ldflags` test.c -o test ...
    99+
    2023-01-31
    代码 cython python
  • 怎样利用Android Studio将moudle变成jar
    这篇文章将为大家详细讲解有关怎样利用Android Studio将moudle变成jar,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。方法如下:在moudle中的build.gradle文件中添加如下代码...
    99+
    2023-05-30
    androidstudio moudle jar
  • 利用java如何将GBK转换为uft8
    这期内容当中小编将会给大家带来有关利用java如何将GBK转换为uft8,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。具体如下:windows下的默认编码为GBK还有gb2312,如何把gbk的java工...
    99+
    2023-05-31
    java gbk uft8
  • 利用C#/VB.NET实现将PDF转为Word
    目录将 PDF 转换为固定布局的 Doc/Docx 文档完整代码将 PDF 转换为流动形态的 Doc/Docx 文档完整代码效果图众所周知,PDF 文档支持特长文件,集成度和安全可靠...
    99+
    2022-12-19
    C# PDF转Word C# PDF Word
  • 如何使用Docker将容器目录挂载到主机上
    今天小编给大家分享一下如何使用Docker将容器目录挂载到主机上的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。一、基本介绍这...
    99+
    2023-06-30
  • 如何利用python将Xmind用例转为Excel用例
    目录1、Xmind用例编写规范2、转换代码3、使用1、Xmind用例编写规范 1:需求大模块2:大模块中的小模块(需要根据需求来看需要多少层)3:用例等级和用例名称用例等级(转换成...
    99+
    2024-04-02
  • 怎么利用python将Xmind用例转为Excel用例
    这篇文章主要介绍了怎么利用python将Xmind用例转为Excel用例的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇怎么利用python将Xmind用例转为Excel用例文章都会有所收获,下面我们一起来看看吧...
    99+
    2023-07-02
  • 如何利用pandas将Excel转为html格式
    前言 大家谈及用Pandas导出数据,应该就会想到to.xxx系列的函数。 这其中呢,比较常用的就是pd.to_csv()和pd.to_excel()。但其实还可以将其导成Html网...
    99+
    2024-04-02
  • 利用vuex-persistedstate将vuex本地存储实现
    目录vuex-persistedstate将vuex本地存储使用场景Vuex-persistedstateAPIvuex的本地存储vuex是什么vuex中的五大核心当然vuex的本地...
    99+
    2024-04-02
  • 利用CSS怎么将页面底部固定
    这篇文章给大家介绍利用CSS怎么将页面底部固定,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。什么是csscss是一种用来表现HTML或XML等文件样式的计算机语言,主要是用来设计网页的样式,使网页更加美化。它也是一种定...
    99+
    2023-06-08
  • 如何利用python将pdf文档转为word?
    1.前言 有些时候,我们需要将pdf文档转换为word文档进行处理,但市面上的一些pdf软件往往需要付费才能使用。那么作为一名技术人员,如何才能实现pdf转word自由? 2.准备工作 提前安装好py...
    99+
    2023-09-05
    word python pdf
  • 利用Spring 怎么将bean注入多线程
    本篇文章给大家分享的是有关利用Spring 怎么将bean注入多线程,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。问题Spring中多线程注入userThreadService...
    99+
    2023-05-31
    spring 多线程 bean
  • 怎么利用vuex-persistedstate将vuex本地存储
    本篇内容主要讲解“怎么利用vuex-persistedstate将vuex本地存储”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“怎么利用vuex-persistedstate将vuex本地存储”...
    99+
    2023-06-30
  • 利用pyinstaller或virtualenv将python程序打包详解
    运行环境: CentOS6.5_x64 Python版本 : 2.6 使用pyinstaller打包 pyinstaller可以将python程序打包成二进制文件,打包后的文件在没有python的环境中也...
    99+
    2022-06-04
    详解 程序 pyinstaller
  • 利用Python将社交网络进行可视化
    目录数据来源数据的读取和清洗数据的分析与可视化前言: 我们平常会使用很多社交媒体,如微信、微博、抖音等等,在这些平台上面,我们会关注某些KOL,同时自己身边的亲朋好友也会来关注我们,...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作