本文指導(dǎo)您在 Debian 系統(tǒng)上安裝并測(cè)試 Apache Hadoop。以下步驟將詳細(xì)介紹配置過(guò)程和驗(yàn)證方法。

第一步：安裝 Java

確保系統(tǒng)已安裝 Java 8 或更高版本。使用以下命令安裝 OpenJDK 8：

sudo apt update
sudo apt install openjdk-8-jdk

驗(yàn)證安裝：

java -version

第二步：下載和解壓 Hadoop

從 Apache Hadoop 官網(wǎng)下載最新版 Hadoop，并解壓到指定目錄（例如 /usr/local/hadoop）：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/hadoop
```  (請(qǐng)?zhí)鎿Q `hadoop-3.3.1` 為實(shí)際的版本號(hào))


**第三步：配置環(huán)境變量**

編輯 `~/.bashrc` 文件，添加以下環(huán)境變量：

```bash
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使更改生效：

source ~/.bashrc

第四步：配置 Hadoop 配置文件

修改 Hadoop 目錄下的配置文件：

• core-site.xml:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
</configuration>

• hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

• mapred-site.xml:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• yarn-site.xml:

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

第五步：格式化 HDFS

在 NameNode 節(jié)點(diǎn)上執(zhí)行以下命令格式化 HDFS：

hdfs namenode -format

第六步：?jiǎn)?dòng) Hadoop 服務(wù)

在 NameNode 節(jié)點(diǎn)上啟動(dòng) NameNode 和 DataNode：

start-dfs.sh

在 ResourceManager 節(jié)點(diǎn)上啟動(dòng) YARN：

start-yarn.sh

第七步：本地模式測(cè)試

切換到 Hadoop 用戶(hù)：

su - hadoop

創(chuàng)建輸入目錄和文件：

mkdir ~/input
vi ~/input/data.txt

輸入測(cè)試數(shù)據(jù)（例如 "Hello World"，"Hello Hadoop"），保存并退出。

運(yùn)行 WordCount 示例：

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output
``` (請(qǐng)根據(jù)實(shí)際jar包文件名調(diào)整)

查看結(jié)果：

```bash
ls ~/output
cat ~/output/part-r-00000

正確輸出表明 Hadoop 本地模式運(yùn)行成功。 請(qǐng)注意，以上步驟假設(shè)您在單機(jī)環(huán)境下進(jìn)行測(cè)試。 對(duì)于集群環(huán)境，需要進(jìn)行相應(yīng)的配置修改。 請(qǐng)務(wù)必參考官方Hadoop文檔以獲取更詳細(xì)和最新的配置信息。

以上是Debian Hadoop 怎樣進(jìn)行測(cè)試的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！