如何快速配置CentOS HDFS

在CentOS系统上部署Hadoop分布式文件系统(HDFS)需要多个步骤，以下指南简述了单机模式下的配置过程。 完整集群部署更为复杂。

1. Java环境配置

首先，确保系统已安装Java。使用以下命令安装OpenJDK：

yum install -y java-1.8.0-openjdk-devel

配置Java环境变量：

echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile
echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile
source /etc/profile
java -version

2. SSH免密登录设置

为了节点间无缝通信，需配置SSH免密登录。

1. 生成SSH密钥对：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

2. 将公钥复制到所有节点 (此处仅为单机配置，故省略此步骤)：

3. Hadoop下载与解压

从Apache Hadoop官网下载Hadoop发行版，并解压到指定目录：

wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
tar -zxvf hadoop-3.1.3.tar.gz
mv hadoop-3.1.3 /opt/hadoop

4. Hadoop环境变量配置

编辑/etc/profile文件，添加以下环境变量：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile

5. Hadoop配置文件修改

core-site.xml

编辑/opt/hadoop/etc/hadoop/core-site.xml，添加以下内容 (将192.168.1.1替换为你的主机IP)：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.1:9000</value>
  </property>
</configuration>

hdfs-site.xml

编辑/opt/hadoop/etc/hadoop/hdfs-site.xml，添加以下内容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

6. NameNode格式化

格式化NameNode：

/opt/hadoop/bin/hdfs namenode -format

7. HDFS启动

启动HDFS服务：

/opt/hadoop/sbin/start-dfs.sh

8. HDFS状态验证

检查HDFS状态：

jps

你应该看到NameNode和DataNode进程运行。

9. HDFS Web UI访问

访问http://192.168.1.1:50070 (将192.168.1.1替换为你的主机IP) 查看HDFS Web界面。

本指南仅供单机HDFS配置参考。 多节点集群部署需要额外配置ZooKeeper、Secondary NameNode等，并确保所有节点配置文件一致。

以上是如何快速配置CentOS HDFS的详细内容。更多信息请关注PHP中文网其他相关文章！