Hadoop集群搭建(4个节点)

搭建hadoop集群需要以下步骤：
1. 安装Java：确保所有节点上都安装了Java，并设置好JAVA_HOME环境变量。
2. 配置ssh免密码登录：在主节点上生成SSH密钥对，并将公钥分发到所有节点上，以实现节点之间的无密码登录。
3. 下载Hadoop：从Hadoop官网下载最新版本的Hadoop，并解压到指定的目录。
4. 配置Hadoop环境变量：在主节点上编辑/etc/profile文件，并设置以下环境变量：
- HADOOP_HOME：Hadoop安装目录的路径
- HADOOP_CONF_DIR：Hadoop配置文件目录的路径
- PATH：添加$HADOOP_HOME/bin和$HADOOP_HOME/sbin到PATH变量中
然后执行source /etc/profile命令使环境变量生效。
5. 配置Hadoop集群：在主节点上编辑Hadoop配置文件，主要包括core-site.xml、hdfs-site.xml和mapred-site.xml。
- core-site.xml：配置Hadoop的核心参数，如文件系统类型、Namenode的地址等。
- hdfs-site.xml：配置Hadoop分布式文件系统(HDFS)的参数，如数据块大小、副本数量等。
- mapred-site.xml：配置Hadoop的mapReduce框架的参数，如任务调度器类型等。
配置文件的路径为$HADOOP_CONF_DIR。
6. 配置主节点：在主节点上编辑masters文件，将主节点的主机名添加到文件中。
7. 配置从节点：在从节点上编辑slaves文件，将所有从节点的主机名添加到文件中。
8. 分发配置文件：在主节点上执行以下命令将配置文件分发到所有节点上：
```
$HADOOP_HOME/bin/hadoop namenode -fORMat
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
```
9. 启动集群：在主节点上执行以下命令启动Hadoop集群：
```
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
```
可以通过jps命令检查集群的运行状态。
10. 验证集群：在主节点上执行以下命令验证Hadoop集群的运行情况：
```
$HADOOP_HOME/bin/hadoop fs -mkdir /test
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/LICENSE.txt /test
$HADOOP_HOME/bin/hadoop fs -ls /test
```
如果能够正常执行以上命令且输出结果正确，则说明Hadoop集群搭建成功。
以上是一个简单的Hadoop集群搭建过程，具体的步骤和配置可能因不同的环境而有所差异。为了保证成功搭建集群，建议参考Hadoop官方文档或相关教程进行操作。