Debian上Hadoop開發環境如何搭建

本指南詳細介紹如何在Debian系統上搭建Hadoop開發環境。

一、安裝Java開發套件(JDK)

首先，安裝OpenJDK：

 sudo apt update
sudo apt install openjdk-11-jdk -y

配置JAVA_HOME環境變量：

 sudo nano /etc/environment

在文件末尾添加（根據實際JDK版本調整路徑）：

 <code>JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"</code>

保存並退出，然後執行：

 source /etc/environment

驗證安裝：

 java -version

二、安裝Hadoop

下載Hadoop 3.3.6 (或其他版本)：

 wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz

驗證下載完整性：

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz.sha512
sha256sum -c hadoop-3.3.6-src.tar.gz.sha512

創建目錄並解壓：

 sudo mkdir /opt/hadoops
sudo tar -xzvf hadoop-3.3.6-src.tar.gz -C /opt/hadoops --strip-components 1

三、配置Hadoop環境變量

編輯/etc/profile文件，添加：

 export HADOOP_HOME="/opt/hadoops/hadoop-3.3.6"
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新環境變量：

 source /etc/profile

四、配置Hadoop核心配置文件

編輯core-site.xml ：

 sudo nano $HADOOP_HOME/etc/hadoop/core-site.xml

添加：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

編輯hdfs-site.xml ：

 sudo nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoops/hdfs/namenode</value>
  </property>
</configuration>

編輯mapred-site.xml ：

 sudo nano $HADOOP_HOME/etc/hadoop/mapred-site.xml

添加：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

編輯yarn-site.xml ：

 sudo nano $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

五、設置SSH無密碼登錄

生成SSH密鑰：

 sudo su - hadoop
ssh-keygen -t rsa -P ""

複製公鑰：

 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

測試連接：

 ssh localhost

六、格式化NameNode

 hdfs namenode -format

七、啟動Hadoop服務

start-dfs.sh
start-yarn.sh

八、驗證Hadoop安裝

檢查集群狀態：

 hdfs dfsadmin -report

訪問NameNode Web界面： http://localhost:9870

完成以上步驟後，您的Debian系統上的Hadoop開發環境就搭建完成了。 請根據實際情況調整路徑和Hadoop版本。

以上是Debian上Hadoop開發環境如何搭建的詳細內容。更多資訊請關注PHP中文網其他相關文章！