Debian이 Hadoop을 다른 도구와 통합하는 방법

이 안내서는 Java Environment Construction, Hadoop 구성, 클러스터 스타트 업 및 관리와 같은 주요 단계를 다루는 데비안 시스템에 Hadoop 및 기타 도구를 통합하는 방법에 대해 자세히 설명합니다.

1. Java 환경 준비

먼저 시스템에 Java 8 이상이 설치되어 있는지 확인하십시오. 다음 명령을 사용하여 OpenJDK 8을 설치하십시오.

 Sudo 적절한 업데이트
sudo apt 설치 OpenJDK-8-JDK

설치 확인 :

 자바 -버전

2. Hadoop 다운로드 및 감압

Apache Hadoop 공식 웹 사이트에서 최신 버전의 Hadoop 설치 패키지 (예 : Hadoop 3.3.1)를 다운로드하여 지정된 디렉토리 (예 : /usr/local/hadoop )에 압축을 해제하십시오.

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop

3. 환경 변수 구성

~/.bashrc 파일을 편집하고 다음 환경 변수를 추가하십시오.

 java_home =/usr/lib/jvm/jdk-8-openjdk-amd64 내보내기
Hadoop_home =/usr/local/hadoop 내보내기
내보내기 경로 = $ 경로 : $ hadoop_home/bin : $ hadoop_home/sbin

구성을 적용하십시오.

 출처 ~/.bashrc

4. Hadoop Core 구성

Hadoop Core 구성 파일 ( core-site.xml , hdfs-site.xml , mapred-site.xml , yarn-site.xml )을 수정하십시오. 다음은 예제 구성입니다.

core-site.xml :

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs : // namenode : 9000</value>
  </property>
</configuration>

hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>방사</value>
  </property>
</configuration>

yarn-site.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuff</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

5. HDFS 형식

Namenode 노드에서 다음 명령을 HDFS 형식으로 실행하십시오.

 HDFS NAMENODE -FORMAT

6. Hadoop 서비스가 시작됩니다

Namenode에서 Hadoop 서비스를 시작하십시오.

 start-dfs.sh
start-yarn.sh

7. 설치 확인

다음 명령을 실행하여 Hadoop이 성공적으로 시작되었는지 확인하십시오.

 HDFS DFS -LS /

또는 Hadoop 관리 인터페이스에 액세스하십시오.

8. 클러스터 구성 및 관리

이 단계에는 Ambari 또는 Cloudera Manager와 같은 도구를 사용하여 노드 간 네트워크 구성, 저장 공간 구성, JVM 매개 변수 최적화, 작업 일정 정책 설정 및 클러스터 모니터링 및 관리가 포함됩니다.

위의 단계를 통해 데비안 시스템에서 Hadoop 클러스터를 성공적으로 빌드하고 관리 할 수 ​​있습니다. 실제 환경에 따라 구성 매개 변수를 조정하십시오.

위 내용은 Debian이 Hadoop을 다른 도구와 통합하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!