CentOS ??? ??? HDFS ?? ???? ??, ?? ? ??? ???

? ????? CentOS ???? HDFS (Hadoop Distributed File System)? ??, ?? ? ????? ??? ?????.

HDFS ?? ? ??

1. ?? ?? ?? :

   ?? ??? Java ??? ???? ??? ??????. /etc/profile ??? ???? ??? ???? /usr/lib/java-1.8.0/jdk1.8.0_144 ?? Java ?? ??? ?????.

    java_home =/usr/lib/java-1.8.0/jdk1.8.0_144 ????
   ???? ?? = $ java_home/bin : $ ??
   Export ClassPath = $ java_home/jre/lib/ext : $ java_home/lib/tools.jar
   ?? /etc /???

2. Hadoop ?? ?? ?? :

   /etc/profile ??? ???? Hadoop ?? ??? ??????. /opt/hadoop/hadoop-2.8.1 Hadoop ?? ??? ?????.

    Hadoop_home =/opt/hadoop/hadoop-2.8.1 ????
   ???? ?? = $ hadoop_home/bin : $ ??
   Export ClassPath = $ hadoop_home/lib/*
   ?? /etc /???

3. SSH ??????? ??? ?? :

   Hadoop ?? ?? ??? ??????? SSH ??????? ???? ???? ?? ?????. ?? ??? ??????.

    ssh -keygen -t rsa
   ssh-copy-id localhost

4. Namenode ?? :

   HDFS? ???? ?? ? ?? Namenode? ?????????.

    HDFS NAMENODE -FORMAT

5. HDFS ??? ? :

   HDFS ??? ?? :

    $ hadoop_home/sbin/start-dfs.sh

6. HDFS ? ????? ??? :

   ????? ?? Namenode? ? ?????? ??????? (??<namenode-ip></namenode-ip> Namenode? IP ??? ??) :

    <code>http://<namenode-ip> :50070</namenode-ip></code>

?? ?? ? ???

1. HDFS ? ??? (HA) :

   ? ???? ????? 2 ?? ? ?? ? (1 ?? ?? ? 1 ?? ???)? 3 ?? ?? ??? ?????. hdfs-site.xml ??? ???? ?? ??? ?????? (?? ?? ??? ?????).

   <property>
     <name>dfs.nameservices</name>
     <value>MyCluster</value>
   </property>
   <property>
     <name>dfs.ha.namenodes.mycluster</name>
     <value>NN1, NN2</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn1</name>
     <value>Namenode1 : 8020</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn2</name>
     <value>Namenode2 : 8020</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn1</name>
     <value>Namenode1 : 50070</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn2</name>
     <value>Namenode2 : 50070</value>
   </property>
   <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>Qjournal : // Journalnode1 : 8485; Journalnode2 : 8485; Journalnode3 : 8485/MyCluster</value>
   </property>

2. ?? ?? :

   • NAMENODE ??? ??? : Hadoop ??? ??? hadoop-env.sh (Hadoop 2.x)? ????? ??? ?? ?? ?? (Hadoop 3.x)? ???? ? ?? ?? ???? ???????. jmap -heap ??? ???? ??? ??? ????????.
   • ?? ?? ??? ??? : hdfs-site.xml ???? dfs.namenode.handler.count ? ?? ?????. ?? ?? ??? ??????.
   • HDFS ??? ? : core-site.xml ?? fs.trash.interval ? fs.trash.checkpoint.interval ???? ??? ?? ???????.
   • ?? ???? ?? : hdfs-site.xml ? dfs.namenode.name.dir ? dfs.datanode.data.dir ? ???? ??? ??? ? ??? ????? ?? ?? ????? ?????.

?? ??? ?? CentOS ???? HDFS ?? ???? ????? ??, ?? ? ??? ? ? ????. ?? ??? ?? ??? IP ??? ???????.

? ??? Centos?? HDFS ?? ???? ?????? ?? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!