軟件準(zhǔn)備
我使用的是CentOS-6.6的虛擬機(jī)，主機(jī)名為repo。參考在Windows中安裝Linux虛擬機(jī)的步驟，我在該虛擬機(jī)中安裝了JDK，參考在Linux中安裝JDK的指南。此外，該虛擬機(jī)配置了免秘鑰登錄自身，參考配置各臺(tái)虛擬機(jī)之間免秘鑰登錄的設(shè)置。 Hadoop安裝包的下載地址為： http://m.miracleart.cn/link/8485694bae96aebc7c4fe6119599d0e0 。
-
將Hadoop安裝包上傳到服務(wù)器並解壓
[root@repo ~]# tar zxvf hadoop-2.6.5.tar.gz -C /opt/apps/
-
配置環(huán)境變量
# 可以直接定位到文件的最後一行[root@repo hadoop-2.6.5]# vi /etc/profile export HADOOP_HOME=/opt/apps/hadoop-2.6.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin [root@repo hadoop-2.6.5]# . /etc/profile
-
修改hadoop-env.sh、mapred-env.sh、yarn-env.sh 這三個(gè)配置文件，添加JAVA_HOME
[root@repo hadoop]# pwd /opt/apps/hadoop-2.6.5/etc/hadoop [root@repo hadoop]# vi hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_73 [root@repo hadoop]# vi mapred-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_73 [root@repo hadoop]# vi yarn-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_73
-
修改core-site.xml 和hdfs-site.xml 配置文件，配置偽分佈式相關(guān)的內(nèi)容
[root@repo hadoop]# vi core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://repo:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/pseudo</value> </property> </configuration> [root@repo hadoop]# vi hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>repo:50090</value> </property> </configuration>
-
修改slaves 配置文件，指定DataNode所在的節(jié)點(diǎn)
[root@repo hadoop]# vi slaves repo
-
格式化文件系統(tǒng)
[root@repo hadoop]# hadoop namenode --format # 成功信息17/09/16 21:17:11 INFO common.Storage: Storage directory /var/hadoop/pseudo/dfs/name has been successfully formatted.
-
啟動(dòng)HDFS和YARN
[root@repo hadoop]# start-dfs.sh Starting namenodes on [repo] repo: starting namenode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-namenode-repo.out repo: starting datanode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-datanode-repo.out Starting secondary namenodes [repo] repo: starting secondarynamenode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-secondarynamenode-repo.out [root@repo hadoop]# start-yarn.sh starting yarn daemons starting resourcemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-resourcemanager-repo.out repo: starting nodemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-nodemanager-repo.out [root@repo hadoop]# jps 4368 Jps 3957 ResourceManager 3512 NameNode 3641 DataNode 4058 NodeManager 3805 SecondaryNameNode
訪問WEB頁面
搭建成功！
搭建成功！以上是Hadoop偽分佈式集群搭建的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
熱門話題
Windows粘在'撤消對(duì)計(jì)算機(jī)進(jìn)行的更改”
Jul 05, 2025 am 02:51 AM
電腦卡在“撤銷對(duì)計(jì)算機(jī)所做的更改”界面是Windows更新失敗後的常見問題，通常因回滾過程卡住導(dǎo)致無法正常進(jìn)入系統(tǒng)。 1.首先應(yīng)耐心等待足夠長(zhǎng)時(shí)間，尤其是重啟後可能需要30分鐘以上完成回滾，觀察硬盤燈判斷是否仍在運(yùn)行。 2.若長(zhǎng)時(shí)間無進(jìn)展，可強(qiáng)制關(guān)機(jī)多次進(jìn)入恢復(fù)環(huán)境（WinRE），嘗試啟動(dòng)修復(fù)或系統(tǒng)還原。 3.進(jìn)入安全模式後，可通過控制面板卸載最近的更新記錄。 4.在恢復(fù)環(huán)境中使用命令提示符執(zhí)行bootrec命令修復(fù)引導(dǎo)文件，或運(yùn)行sfc/scannow檢查系統(tǒng)文件。 5.最後手段是通過“重置此電腦”功能
幣圈空投怎麼領(lǐng)??？免費(fèi)代幣有風(fēng)險(xiǎn)嗎？空投參與全攻略
Jul 07, 2025 pm 10:12 PM
加密貨幣領(lǐng)域的空投，是項(xiàng)目方向社區(qū)成員或潛在用戶免費(fèi)分發(fā)一定數(shù)量代幣的一種市場(chǎng)推廣方式。通過這種方式，項(xiàng)目方希望提高代幣的知名度，吸引更多用戶參與到項(xiàng)目中來，從而擴(kuò)大社區(qū)規(guī)模並增加代幣的流動(dòng)性。對(duì)用戶而言，空投提供了無需初期投資即可獲得項(xiàng)目代幣的機(jī)會(huì)，是早期接觸和了解新項(xiàng)目的途徑之一。
RPC服務(wù)器是不可用的Windows
Jul 06, 2025 am 12:07 AM
遇到“RPCserverisunavailable”問題時(shí)，首先確認(rèn)是否為本地服務(wù)異?；蚓W(wǎng)絡(luò)配置問題。 1.檢查並啟動(dòng)RPC服務(wù)，確保其啟動(dòng)類型為自動(dòng)，若無法啟動(dòng)則查看事件日誌；2.排查網(wǎng)絡(luò)連接與防火牆設(shè)置，測(cè)試關(guān)閉防火牆、檢查DNS解析和網(wǎng)絡(luò)連通性；3.運(yùn)行sfc/scannow與DISM命令修復(fù)系統(tǒng)文件；4.在域環(huán)境中檢查組策略與域控制器狀態(tài)，聯(lián)繫IT部門協(xié)助處理。按照順序逐步排查即可定位並解決問題。
默認(rèn)網(wǎng)關(guān)不可用窗口
Jul 08, 2025 am 02:21 AM
遇到“DefaultGatewayisNotAvailable”提示時(shí)，說明電腦無法連接路由器或未正確獲取網(wǎng)絡(luò)地址，1.首先重啟路由器和電腦，等待路由器完全啟動(dòng)後再嘗試連接；2.檢查IP地址是否設(shè)置為自動(dòng)獲取，進(jìn)入網(wǎng)絡(luò)屬性確保選擇“自動(dòng)獲取IP地址”和“自動(dòng)獲取DNS服務(wù)器地址”；3.通過命令提示符運(yùn)行ipconfig/release和ipconfig/renew釋放並重新獲取IP地址，必要時(shí)執(zhí)行netsh命令重置網(wǎng)絡(luò)組件；4.檢查無線網(wǎng)卡驅(qū)動(dòng)，更新或重新安裝驅(qū)動(dòng)程序以確保其正常工作。
我的第二個(gè)監(jiān)視器未在窗戶上檢測(cè)到
Jul 08, 2025 am 02:47 AM
若第二臺(tái)顯示器未被Windows識(shí)別，首先檢查線材與接口是否正常，嘗試更換HDMI、DP或VGA線，確認(rèn)插對(duì)視頻輸出口，並測(cè)試不同接口以排除兼容性問題；接著驗(yàn)證顯示器電源及輸入源設(shè)置，單獨(dú)連接該顯示器測(cè)試能否被識(shí)別；隨後進(jìn)入Windows顯示設(shè)置點(diǎn)擊“檢測(cè)”按鈕，或使用Win P切換顯示模式，同時(shí)更新顯卡驅(qū)動(dòng)；最後查閱顯卡規(guī)格確認(rèn)是否支持多屏輸出，避免超出其最大輸出能力。
如何在Linux上管理組
Jul 06, 2025 am 12:02 AM
管理Linux用戶組需掌握查看、創(chuàng)建、刪除、修改及用戶歸屬調(diào)整等操作。查看用戶組信息可用cat/etc/group或getentgroup，查看用戶所屬組用groups[用戶名]或id[用戶名]；創(chuàng)建組使用groupadd，可加-g指定GID；刪除空組用groupdel；添加用戶到組用usermod-aG，修改主組用usermod-g；從組移除用戶可通過編輯/etc/group或使用vigr命令；修改組屬性用groupmod-n（改名）或groupmod-g（改GID），並記得更新相關(guān)文件權(quán)限。
修復(fù)無法在Windows Google Chrome上傳文件
Jul 08, 2025 pm 02:33 PM
在GoogleChrome中上傳文件時(shí)遇到問題？這可能很煩人，對(duì)吧？無論您是將文檔附加到電子郵件、在社交媒體上共享圖像，還是提交工作或?qū)W校的重要文件，流暢的文件上傳過程都是至關(guān)重要的。因此，如果您的文件上傳在WindowsPC上的Chrome中持續(xù)失敗，可能會(huì)令人沮喪。如果您還沒有準(zhǔn)備好放棄您最喜歡的瀏覽器，這裡有一些提示修復(fù)無法在WindowsGoogleChrome上傳文件1.從通用修復(fù)開始在我們了解任何高級(jí)故障排除技巧之前，最好先嘗試下面提到的一些基本解決方案。排除互聯(lián)網(wǎng)連接問題：互聯(lián)網(wǎng)連
如何修復(fù)Windows中的' System_service_exception”停止代碼
Jul 09, 2025 am 02:56 AM
遇到“SYSTEM_SERVICE_EXCEPTION”藍(lán)屏錯(cuò)誤時(shí)，不必立即重裝系統(tǒng)或更換硬件，可按以下步驟排查：1.更新或回滾顯卡等硬件驅(qū)動(dòng)，尤其是近期更新過的驅(qū)動(dòng)；2.卸載第三方殺毒軟件或系統(tǒng)工具，改用WindowsDefender或知名品牌產(chǎn)品；3.以管理員身份運(yùn)行sfc/scannow和DISM命令修復(fù)系統(tǒng)文件；4.檢查內(nèi)存問題，恢復(fù)默認(rèn)頻率並重新插拔內(nèi)存條，使用Windows內(nèi)存診斷工具檢測(cè)。多數(shù)情況下，先處理驅(qū)動(dòng)和軟件問題即可解決。
