Centos HDFを迅速に構成する方法

Hadoop分散ファイルシステム（HDFS）をCENTOSシステムに展開するには、いくつかのステップが必要であり、次のガイドでは、構成プロセスをスタンドアロンモードで簡単に説明します。完全なクラスターの展開はより複雑です。

1。Java環境構成

まず、システムにJavaがインストールされていることを確認してください。次のコマンドを使用してOpenJDKをインストールします。

 yum install -y java-1.8.0-openjdk-devel

Java環境変数を構成します：

 echo "export java_home =/usr/lib/jvm/java-1.8.0-openjdk" >>/etc/profile
echo "エクスポートパス= $ java_home/bin：$ path" >>/etc/profile
ソース /など /プロファイル
Java -version

2。SSHパスワードフリーログイン設定

ノード間でシームレスに通信するには、SSHパスワードフリーログインが必要です。

1. SSHキーペアを生成します。

 ssh -keygen -t rsa -p '' -f〜/.ssh/id_rsa

2. すべてのノードに公開キーをコピーします（ここではスタンドアロン構成のみであるため、この手順は省略されています）：

3。Hadoopのダウンロードと減圧

Apache Hadoopの公式WebサイトからHadoop Distributionをダウンロードし、指定されたディレクトリに解凍します。

 wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz
TAR -ZXVF Hadoop -3.1.3.tar.gz
MV hadoop-3.1.3 /opt /hadoop

4。Hadoop環境変数構成

/etc/profileファイルを編集し、次の環境変数を追加します。

 hadoop_home =/opt/hadoopをエクスポートします
エクスポートパス= $ hadoop_home/bin：$ path
ソース /など /プロファイル

5。Hadoop構成ファイルの変更

core-site.xml

edit /opt/hadoop/etc/hadoop/core-site.xml 、以下を追加します（ 192.168.1.1ホストIPに置き換えます）：

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs：//192.168.1.1：9000</value>
  </property>
</configuration>

hdfs-site.xml

edit /opt/hadoop/etc/hadoop/hdfs-site.xmlを追加し、以下を追加します。

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>DFS.NAMENODE.NAME.DIR</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>

6。NAMENODEフォーマット

フォーマットnameNode：

 /opt/hadoop/bin/hdfs nameNode -format

7。HDFS起動

HDFSサービスを開始：

 /opt/hadoop/sbin/start-dfs.sh

8。HDFSステータス検証

HDFSステータスを確認してください：

 JPS

NAMENODEおよびDATANODEプロセスが実行されていることがわかります。

9。HDFSWeb UIアクセス

http://192.168.1.1:50070 192.168.1.1ホストIPに置き換えて）にアクセスして、HDFS Webインターフェイスを表示します。

このガイドは、スタンドアロンのHDFS構成のみを参照してください。 Multi-Node Clusterの展開には、Zookeeper、Secondarm NameNodeなどの追加の構成が必要であり、すべてのノード構成ファイルが一貫していることを確認します。

以上がCentos HDFを迅速に構成する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。