返回顶部
首页 > 资讯 > 精选 >hdfs下载文件到本地的方法是什么
  • 466
分享到

hdfs下载文件到本地的方法是什么

2024-04-02 19:04:59 466人浏览 安东尼
摘要

要将hdfs中的文件下载到本地,可以使用以下方法: 使用hadoop fs命令: hadoop fs -get hdfs://&

要将hdfs中的文件下载到本地,可以使用以下方法:

  1. 使用hadoop fs命令:
hadoop fs -get hdfs://<HDFS文件路径> <本地文件路径>

例如:

hadoop fs -get hdfs://localhost:9000/user/test.txt /tmp/test.txt
  1. 使用distcp命令:
hadoop distcp hdfs://<HDFS文件路径> file://<本地文件路径>

例如:

hadoop distcp hdfs://localhost:9000/user/test.txt file:///tmp/test.txt
  1. 使用Java api: 可以使用Hadoop提供的Java API来读取HDFS中的文件并将其写入本地文件系统。以下是一个简单的Java示例代码:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSDownload {
    public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(conf);
            Path hdfsFilePath = new Path("hdfs://localhost:9000/user/test.txt");
            Path localFilePath = new Path("/tmp/test.txt");
            fs.copyToLocalFile(hdfsFilePath, localFilePath);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

--结束END--

本文标题: hdfs下载文件到本地的方法是什么

本文链接: https://lsjlt.com/news/589894.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作