Debian Hadoop 자원 관리를 구현하는 방법

이 기사에서는 데비안 시스템에서 Hadoop Explorer를 구성하는 방법에 대해 설명합니다. 다음 단계는 Hadoop 클러스터의 구성 및 검증을 다룹니다.

1. Hadoop 설치 및 환경 구성

먼저 데비안 시스템에 Hadoop을 설치하십시오. Hadoop 2.7.2 설치 패키지를 다운로드했다고 가정하면 다음 명령을 사용하여 압축을 풀고 설치할 수 있습니다.

 Sudo mkdir/usr/local/hadoop
Sudo tar xvf hadoop -2.7.2.tar.gz -c/usr/local/hadoop

다음으로, 후속 작업을 용이하게하기 위해 환경 변수를 구성하십시오. ~/.bashrc 또는 /etc/profile 파일을 편집하고 다음을 추가하십시오.

 Hadoop_home =/usr/local/hadoop 내보내기
내보내기 경로 = $ 경로 : $ hadoop_home/bin

source ~/.bashrc 또는 source /etc/profile 실행하여 구성을 적용합니다.

2. Hadoop 클러스터 구성

클러스터의 모든 노드에서 Core Hadoop 구성 파일 인 core-site.xml , hdfs-site.xml , mapred-site.xml 및 yarn-site.xml 구성해야합니다. 이 파일은 HDFS 이름 노드 주소, 데이터 복제본 수, MapReduce 프레임 워크 및 원사 자원 관리자 주소와 같은 Hadoop 클러스터의 주요 속성을 정의합니다.

예를 들어, core-site.xml 구성 조각은 다음과 같습니다.

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs : // debian171 : 9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

클러스터의 실제 상황에 따라 이러한 구성을 수정하십시오.

3. Hadoop 클러스터 시작

모든 노드에서 다음 명령으로 HDFS 및 원사 서비스를 시작하십시오.

 CD/USR/LOCAL/HADOOP/SBIN
./start-dfs.sh
./start-yarn.sh

4. 자원 관리 검증

간단한 WordCount 작업을 실행하여 Hadoop 리소스 관리가 작동하는지 확인하십시오.

 Hadoop Jar Hadoop-Examples.jar WordCount /TMP /입력 /출력

결과가 성공적으로 실행되고 출력되면 Hadoop 리소스 관리 구성이 성공적임을 의미합니다.

5. 주목할만한 것들

위의 단계는 기본 Hadoop 리소스 관리 구성 프로세스를 제공합니다. 실제 구성은 클러스터 크기, Hadoop 버전 및 특정 요구 사항에 따라 다를 수 있습니다. 자세한 구성 정보는 공식 Hadoop 문서를 참조하십시오.

위 내용은 Debian Hadoop 자원 관리를 구현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!