この記事では、DebianシステムにApache Hadoopをインストールしてテストすることをガイドします。次の手順では、構成プロセスと検証方法の詳細な説明を提供します。
ステップ1：Javaをインストールします
システムにJava 8以下がインストールされていることを確認してください。次のコマンドを使用してOpenJDK 8をインストールします。
sudo aptアップデート sudo apt install openjdk-8-jdk
インストールの確認：
Java -version
ステップ2：Hadoopをダウンロードして減圧します
Apache Hadoopの公式WebサイトからHadoopの最新バージョンをダウンロードし、指定されたディレクトリ（ /usr/local/hadoopなど）に解凍します。
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop `` ``（hadoop-3.3.1`を実際のバージョン番號に置き換えてください） **ステップ3：環(huán)境変數を構成** `?/.bashrc`ファイルを編集し、次の環(huán)境変數を追加します。 「バッシュ hadoop_home =/usr/local/hadoopをエクスポートします エクスポートパス= $ path：$ hadoop_home/bin：$ hadoop_home/sbin
変更を有効にします：
ソース?/.bashrc
ステップ4：Hadoop構成ファイルを構成します
Hadoopディレクトリの構成ファイルを変更します。
- core-site.xml ：
<configuration>
<property>
<name>fs.defaultfs</name>
<value>hdfs：// namenode：9000</value>
</property>
</configuration>
- hdfs-site.xml ：
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>DFS.NAMENODE.NAME.DIR</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
</configuration>
- mapred-site.xml ：
<configuration>
<property>
<name>MapReduce.framework.name</name>
<value>糸</value>
</property>
</configuration>
- Yarn-site.xml ：
<configuration>
<property>
<name>Yarn.nodemanager.aux-services</name>
<value>mapReduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.shufflehandler</value>
</property>
</configuration>
ステップ5：HDFのフォーマット
NameNodeノードで、次のコマンドを実行してHDFをフォーマットします。
HDFS NAMENODE -FORMAT
ステップ6：Hadoopサービスを開始します
NameNodeノードでNamenodeとDataNodeを開始します。
start-dfs.sh
ResourceManagerノードで糸を開始します。
Start-yarn.sh
ステップ7：ローカルモードテスト
Hadoopユーザーに切り替えます：
su -hadoop
入力ディレクトリとファイルを作成します。
mkdir?/input vi?/input/data.txt
テストデータ（「Hello World」、「Hello Hadoop」など）を入力し、保存して終了します。
WordCountの実行例：
Hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount?/input/data.txt?/output 「（実際のJARパッケージファイル名に従って調整してください） 結果を見る： 「バッシュ ls?/output cat?/output/part-r-00000
正しい出力は、Hadoopローカルモードが正常に実行されていることを示しています。上記の手順では、スタンドアロン環(huán)境でテストしていると仮定していることに注意してください。クラスター環(huán)境の場合、対応する構成変更が必要です。より詳細かつ最新の構成情報については、必ず公式のHadoopドキュメントを參照してください。
以上がDebian Hadoopをテストする方法の詳細內容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。
ホットAIツール
Undress AI Tool
脫衣畫像を無料で
Undresser.AI Undress
リアルなヌード寫真を作成する AI 搭載アプリ
AI Clothes Remover
寫真から衣服を削除するオンライン AI ツール。
Clothoff.io
AI衣類リムーバー
Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中國語版
中國語版、とても使いやすい
ゼンドスタジオ 13.0.1
強力な PHP 統(tǒng)合開発環(huán)境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
8638
17
1784
16
1729
56
1580
28
1445
31
PHPコードを作成した後にPHPコードを実行する方法は？ PHPコードを実行するいくつかの一般的な方法
May 23, 2025 pm 08:33 PM
PHPコードはさまざまな方法で実行できます。1。コマンドラインを使用して「PHPファイル名」を直接入力してスクリプトを実行します。 2.ファイルをDocument Root Directoryに入れ、Webサーバーを介してブラウザを介してアクセスします。 3. IDEで実行し、組み込みのデバッグツールを使用します。 4.テストには、オンラインPHPサンドボックスまたはコード実行プラットフォームを使用します。
完全なPython Webアプリケーションを開発する方法は？
May 23, 2025 pm 10:39 PM
完全なPython Webアプリケーションを開発するには、次の手順に従ってください。1。DjangoやFlaskなどの適切なフレームワークを選択します。 2。データベースを統(tǒng)合し、Sqlalchemyなどの軌道を使用します。 3.フロントエンドを設計し、VueまたはReactを使用します。 4.テストを実行し、pytestまたはunittestを使用します。 5.アプリケーションを展開し、HerokuやAWSなどのDockerとプラットフォームを使用します。これらの手順を通じて、強力で効率的なWebアプリケーションを構築できます。
Debian Tomcatを更新する方法
May 28, 2025 pm 04:54 PM
DebianシステムのTomcatバージョンの更新には、一般に次のプロセスが含まれます。更新操作を実行する前に、既存のTomcat環(huán)境の完全なバックアップを実行してください。これは、 /opt /tomcatフォルダーと、server.xml、context.xml、web.xmlなどの関連する構成ドキュメントをカバーします。バックアップタスクは、次のコマンドを介して完了することができます：sudocp-r/opt/tomcat/opt/tomcat_backup tomcatを取得して、tomcatをapachetomcatの公式ウェブサイトにアクセスして最新バージョンをダウンロードします。あなたのDebianシステムによると
Java ChineseDarbledの問題、文字化けコードの原因と修正
May 28, 2025 pm 05:36 PM
Java中國語の文字化けの問題は、主に一貫性のないキャラクターエンコードによって引き起こされます。修復方法には、システムのエンコードの一貫性の確保と、エンコード変換の正確な処理が含まれます。 1.ファイルからデータベースおよびプログラムに均一にエンコードするUTF-8を使用します。 2. BufferedReaderやInputStreamReaderを使用するなど、ファイルを読み取るときにエンコードを明確に指定します。 3. AlterDatabaseステートメントを使用してMySQLなどのデータベース文字セットを設定します。 4. HTTPリクエストと応答で、Content-Type; html; charset = utf-8に設定します。 5.データの正しい処理を確保するために、一貫性、変換、デバッグスキルのエンコードに注意してください。
BlockDag（BDAG）：殘りの7日間、オンラインに行く前の殘りのスタック
May 26, 2025 pm 11:51 PM
正當な理由で、BlockDagは買い手の関心に焦點を當てています。 BlockDagは、2025年のアプローチであるため、投資家が著実に高ポテンシャルの暗號プロジェクトを蓄積しているため、事前販売の28バッチで驚くべき2億6500萬ドルを調達しました。多くのアップサイドを提供する低コストのプリセールコインであろうと、重要なアップグレードの準備をするブルーチップネットワークであろうと、この瞬間はユニークなエントリポイントを提供します。高速スケーラビリティから柔軟なモジュラーブロックチェーンアーキテクチャまで、これらの4つの優(yōu)れた名前は市場全體で注目を集めています。アナリストとアーリーアダプターは綿密に視聴しており、短期的な利益と長期的な価値を購入するための最高の暗號コインと呼んでいます。 1。BlockDag（BDAG）：殘り7日
Linuxのユーザーリソースを制限する方法は？ ulimitを構成する方法は？
May 29, 2025 pm 11:09 PM
Linuxシステムは、リソースの過度の使用を防ぐために、ULIMITコマンドを介してユーザーリソースを制限します。 1.ulimitは、ファイル記述子（-n）、メモリサイズ（-v）、スレッドカウント（-u）などの數を制限できるビルトインシェルコマンドであり、ソフト制限（現在の有効値）とハードリミット（最大上限）に分割されます。 2。Ulimit-N2048などの一時的な変更には、Ulimitコマンドを直接使用しますが、現在のセッションでのみ有効です。 3.永続的な効果を得るには、/etc/security/limits.confを変更し、PAM構成ファイルを変更し、SessionRequiredPam_limits.soを追加する必要があります。 4. SystemDサービスは、ユニットファイルにLIMを設定する必要があります
Laravelのユーザー認証ロジックをカスタマイズする方法は？
May 22, 2025 pm 09:36 PM
Custom Laravelユーザー認証ロジックは、次の手順を通じて実裝できます。1。メールボックスの検証など、ログインするときに検証條件を追加します。 2。カスタムガードクラスを作成し、認証プロセスを拡張します。カスタム認証ロジックには、Laravelの認証システムを深く理解し、セキュリティ、パフォーマンス、メンテナンスに注意を払う必要があります。
オフラインキャッシュにサービスワーカーを使用する方法
May 23, 2025 pm 11:06 PM
サービスワーカーは、ネットワークリクエストを傍受してキャッシュ前リソースを提供することにより、オフラインのキャッシュを実裝します。特定の手順には次のものが含まれます。1）サービスワーカーを登録し、ブラウザのサポートをチェックします。 2）SW.JSファイルのキャッシュポリシーとプレキャッシュリソースを定義します。 3）インストールイベントを使用してリソース前にリソースを使用し、フェッチイベントのキャッシュまたはネットワークからリソースを取得することを決定します。 4）バージョン制御、キャッシュポリシーの選択、デバッグスキルに注意を払う。 5）キャッシュサイズ、動的コンテンツを処理し、スクリプトがHTTPを介してロードされることを確認します。
