Petua untuk menggunakan sistem fail HDFS di CentOS

Panduan Pemasangan, Konfigurasi dan Pengoptimuman Sistem Fail HDFS Di bawah Sistem CentOS

Artikel ini akan membimbing anda tentang cara memasang, mengkonfigurasi, dan mengoptimumkan sistem fail diedarkan Hadoop (HDFS) pada sistem CentOS.

Pemasangan dan konfigurasi HDFS

1. Pemasangan Alam Sekitar Java:

   Pertama, pastikan persekitaran Java yang sesuai dipasang. Edit fail /etc/profile , tambahkan yang berikut, dan ganti /usr/lib/java-1.8.0/jdk1.8.0_144 dengan laluan pemasangan Java sebenar anda:

    Eksport java_home =/usr/lib/java-1.8.0/jdk1.8.0_144
   Laluan Eksport = $ Java_Home/Bin: $ Path
   Eksport classpath = $ java_home/jre/lib/ext: $ java_home/lib/tools.jar
   sumber /etc /profil

2. Konfigurasi Pembolehubah Persekitaran Hadoop:

   Edit /etc/profile Fail dan tambahkan pembolehubah persekitaran Hadoop. Sila ganti /opt/hadoop/hadoop-2.8.1 dengan laluan pemasangan Hadoop anda:

    Eksport HADOOP_HOME =/opt/Hadoop/Hadoop-2.8.1
   Laluan Eksport = $ Hadoop_Home/Bin: $ Path
   Eksport classpath = $ hadoop_home/lib/*
   sumber /etc /profil

3. Konfigurasi log masuk bebas kata laluan SSH:

   Untuk memudahkan komunikasi antara nod Hadoop, mengkonfigurasi log masuk bebas kata laluan SSH adalah penting. Jalankan arahan berikut:

    SSH -KEYGEN -T RSA
   SSH-Copy-ID Localhost

4. Pemformatan namenode:

   Apabila mengkonfigurasi HDF untuk kali pertama, namenode mesti diformat:

    HDFS namenode -Format

5. Permulaan HDFS:

   Mulakan Perkhidmatan HDFS:

    $ HADOOP_HOME/SBIN/START-DFS.SH

6. Akses Antara Muka Web HDFS:

   Akses antara muka web Namenode melalui penyemak imbas (ganti<namenode-ip></namenode-ip> Ganti dengan alamat IP Namenode):

    <code>http://<namenode-ip> :50070</namenode-ip></code>

Konfigurasi dan Pengoptimuman Lanjutan

1. HDFS Tinggi Ketersediaan (HA):

   Mengkonfigurasi ketersediaan yang tinggi memerlukan dua namenodes (satu aktif dan satu pasif) dan sekurang -kurangnya tiga jurnal. Edit fail hdfs-site.xml dan tambahkan konfigurasi berikut (ganti dengan maklumat nod sebenar anda):

   <property>
     <name>dfs.nameservices</name>
     <value>mycluster</value>
   </property>
   <property>
     <name>dfs.ha.namenodes.mycluster</name>
     <value>NN1, NN2</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn1</name>
     <value>Namenode1: 8020</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn2</name>
     <value>Namenode2: 8020</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn1</name>
     <value>Namenode1: 50070</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn2</name>
     <value>Namenode2: 50070</value>
   </property>
   <property>
     <name>dfs.namenode.shared.edit.dir</name>
     <value>Qjournal: // Journalnode1: 8485; Journalnode2: 8485; Journalnode3: 8485/MyCluster</value>
   </property>

2. Penalaan Prestasi:

   • Pengoptimuman Memori Namenode: Menurut versi Hadoop, laraskan hadoop-env.sh (Hadoop 2.x) atau gunakan ciri peruntukan automatik memori (Hadoop 3.x) untuk mengoptimumkan memori namenode. Gunakan arahan jmap -heap untuk memantau penggunaan memori.
   • Pengoptimuman Concurrency Heartbeat: Edit hdfs-site.xml dan tingkatkan nilai dfs.namenode.handler.count untuk meningkatkan keupayaan pemprosesan konvensional.
   • Dayakan HDFS Recycle Bin: Ubah suai fs.trash.interval dan fs.trash.checkpoint.interval di core-site.xml untuk membolehkan tong kitar semula.
   • Konfigurasi Multi-direktori: Ubah suai dfs.namenode.name.dir dan dfs.datanode.data.dir dalam hdfs-site.xml untuk mengkonfigurasi pelbagai direktori untuk meningkatkan kebolehpercayaan data dan prestasi.

Melalui langkah -langkah di atas, anda boleh memasang, mengkonfigurasi dan mengoptimumkan sistem fail HDFS dengan berkesan pada sistem CentOS anda. Sila ingat untuk menyesuaikan laluan dan alamat IP mengikut persekitaran sebenar anda.

Atas ialah kandungan terperinci Petua untuk menggunakan sistem fail HDFS di CentOS. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!