CENTOSシステムに基づくHDFSファイルシステムのインストール、構(gòu)成、最適化のガイド

この記事では、CENTOSシステム上のHadoop分散ファイルシステム（HDFS）をインストール、構(gòu)成、最適化する方法について説明します。

HDFSのインストールと構(gòu)成

1. Java環(huán)境のインストール：

   まず、適切なJava環(huán)境がインストールされていることを確認(rèn)してください。 /etc/profileファイルを編集し、以下を追加し、 /usr/lib/java-1.8.0/jdk1.8.0_144 lib/java-1.8.0/jdk1.8.0_144を?qū)g際のJavaインストールパスで置き換えます。

    export java_home =/usr/lib/java-1.8.0/jdk1.8.0_144
   エクスポートパス= $ java_home/bin：$ path
   classPath = $ java_home/jre/lib/ext：$ java_home/lib/tools.jar
   ソース /など /プロファイル

2. Hadoop環(huán)境変數(shù)構(gòu)成：

   /etc/profileファイルを編集し、Hadoop環(huán)境変數(shù)を追加します。 /opt/hadoop/hadoop-2.8.1 Hadoopインストールパスに置き換えてください。

    export hadoop_home =/opt/hadoop/hadoop-2.8.1
   エクスポートパス= $ hadoop_home/bin：$ path
   classPathをエクスポート= $ hadoop_home/lib/*
   ソース /など /プロファイル

3. SSHパスワードフリーログイン構(gòu)成：

   Hadoopノード間の通信を容易にするために、SSHパスワードのないログインの構(gòu)成が重要です。次のコマンドを?qū)g行します。

    ssh -keygen -t rsa
   ssh-copy-id localhost

4. nameNodeフォーマット：

   HDFを初めて構(gòu)成する場合、NameNodeをフォーマットする必要があります。

    HDFS NAMENODE -FORMAT

5. HDFSスタートアップ：

   HDFSサービスを開始：

    $ hadoop_home/sbin/start-dfs.sh

6. HDFS Webインターフェイスアクセス：

   ブラウザを介してNamenodeのWebインターフェイスにアクセスします（交換します<namenode-ip></namenode-ip>NameNodeのIPアドレスに置き換えます）：

    <code>http://<namenode-ip> :50070</namenode-ip></code>

高度な構(gòu)成と最適化

1. HDFS高可用性（HA）：

   高可用性を構(gòu)成するには、2つのナメノード（1つのアクティブと1つのパッシブ）と少なくとも3つのJournalNodeが必要です。 hdfs-site.xmlファイルを編集し、次の構(gòu)成を追加します（実際のノード情報(bào)に置き換えます）。

   <property>
     <name>dfs.NamesSvices</name>
     <value>mycluster</value>
   </property>
   <property>
     <name>dfs.ha.nameNodes.mycluster</name>
     <value>NN1、NN2</value>
   </property>
   <property>
     <name>DFS.NAMENODE.RPC-ADDRESS.MYCLUSTER.NN1</name>
     <value>NameNode1：8020</value>
   </property>
   <property>
     <name>DFS.NAMENODE.RPC-ADDRESS.MYCLUSTER.NN2</name>
     <value>NameNode2：8020</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn1</name>
     <value>NameNode1：50070</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn2</name>
     <value>NameNode2：50070</value>
   </property>
   <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>Qjournal：// JournalNode1：8485; JournalNode2：8485; JournalNode3：8485/MyCluster</value>
   </property>

2. パフォーマンスチューニング：

   • NAMENODEメモリの最適化： Hadoopバージョンによると、 hadoop-env.sh （Hadoop 2.x）を調(diào)整するか、メモリ自動割り當(dāng)て機(jī)能（Hadoop 3.x）を使用してNameNodeメモリを最適化します。 jmap -heapコマンドを使用して、メモリの使用量を監(jiān)視します。
   • ハートビートの並行性の最適化： hdfs-site.xmlを編集し、 dfs.namenode.handler.countの値を増やして、並行性処理機(jī)能を改善します。
   • HDFSリサイクルビンを有効にする： fs.trash.intervalおよびfs.trash.checkpoint.intervalをcore-site.xmlで変更して、リサイクルビンを有効にします。
   • マルチディレクトリ構(gòu)成： dfs.namenode.name.dirおよびdfs.datanode.data.dirのhdfs-site.xmlの変更を加えて、データの信頼性とパフォーマンスを改善する複數(shù)のディレクトリを構(gòu)成します。

上記の手順を通じて、CentOSシステム上のHDFSファイルシステムを効果的にインストール、構(gòu)成、最適化できます。実際の環(huán)境に従ってパスとIPアドレスを調(diào)整することを忘れないでください。

以上がCENTOSでHDFSファイルシステムを使用するためのヒントの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。