Artikel ini membimbing anda untuk memasang dan menguji Apache Hadoop pada sistem Debian anda. Langkah -langkah berikut akan memberikan penerangan terperinci mengenai proses konfigurasi dan kaedah pengesahan.
Langkah 1: Pasang Java
Pastikan sistem mempunyai Java 8 atau lebih tinggi dipasang. Pasang OpenJDK 8 menggunakan arahan berikut:
Kemas kini sudo apt sudo apt memasang openjdk-8-jdk
Sahkan pemasangan:
java -versi
Langkah 2: Muat turun dan Decompress Hadoop
Muat turun versi terkini Hadoop dari laman web rasmi Apache Hadoop dan unzip ke direktori yang ditentukan (contohnya /usr/local/hadoop
):
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz tar -xzvf Hadoop -3.3.1.tar.gz -c/usr/local/Hadoop `` `(Sila ganti` Hadoop-3.3.1` dengan nombor versi sebenar) ** Langkah 3: Konfigurasikan pembolehubah persekitaran ** Edit fail `~/.bashrc` dan tambahkan pembolehubah persekitaran berikut: `` `Bash Eksport HADOOP_HOME =/usr/Local/Hadoop Path Export = $ Path: $ Hadoop_Home/Bin: $ Hadoop_Home/Sbin
Membuat perubahan berkuat kuasa:
Sumber ~/.bashrc
Langkah 4: Konfigurasikan fail konfigurasi Hadoop
Ubah suai fail konfigurasi dalam direktori Hadoop:
- CORE-SITE.XML :
<configuration> <property> <name>fs.defaultfs</name> <value>HDFS: // Namenode: 9000</value> </property> </configuration>
- hdfs-site.xml :
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/dfs/data</value> </property> </configuration>
- Mapred-site.xml :
<configuration> <property> <name>mapreduce.framework.name</name> <value>Benang</value> </property> </configuration>
- benang-tapak.xml :
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.shufflehandler</value> </property> </configuration>
Langkah 5: Format HDFS
Pada nod namenode, laksanakan arahan berikut untuk memformat HDFS:
HDFS namenode -Format
Langkah 6: Mulakan Perkhidmatan Hadoop
Mula Namenode dan Datanode pada nod namenode:
start-dfs.sh
Mulakan benang di Node ResourceManager:
Start-yarn.sh
Langkah 7: Ujian Mod Tempatan
Beralih ke pengguna Hadoop:
Su - Hadoop
Buat direktori dan fail input:
mkdir ~/input vi ~/input/data.txt
Masukkan data ujian (contohnya "Hello World", "Hello Hadoop"), simpan dan keluar.
Jalankan WordCount Contoh:
Hadoop Jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output `` `(Sila sesuaikannya mengikut nama fail pakej balang sebenar) Lihat hasilnya: `` `Bash ls ~/output CAT ~/OUTPUT/PART-R-00000
Output yang betul menunjukkan bahawa mod tempatan Hadoop berjalan dengan jayanya. Sila ambil perhatian bahawa langkah-langkah di atas mengandaikan bahawa anda sedang menguji dalam persekitaran yang berdiri sendiri. Untuk persekitaran kluster, pengubahsuaian konfigurasi yang sepadan diperlukan. Pastikan anda merujuk kepada dokumentasi Hadoop rasmi untuk maklumat konfigurasi yang lebih terperinci dan terkini.
Atas ialah kandungan terperinci Cara Menguji Debian Hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undress AI Tool
Gambar buka pakaian secara percuma

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Kod PHP boleh dilaksanakan dengan banyak cara: 1. Gunakan baris arahan untuk terus memasukkan "nama fail php" untuk melaksanakan skrip; 2. Masukkan fail ke dalam direktori root dokumen dan mengaksesnya melalui penyemak imbas melalui pelayan web; 3. Jalankannya dalam IDE dan gunakan alat debugging terbina dalam; 4. Gunakan kotak pasir PHP dalam talian atau platform pelaksanaan kod untuk ujian.

Mengemas kini versi Tomcat dalam sistem Debian secara amnya termasuk proses berikut: Sebelum melakukan operasi kemas kini, pastikan anda membuat sandaran lengkap persekitaran Tomcat yang sedia ada. Ini meliputi folder /OPT /TOMCAT dan dokumen konfigurasi yang berkaitan, seperti server.xml, context.xml, dan web.xml. Tugas sandaran boleh diselesaikan melalui arahan berikut: Sudocp-R/Opt/Tomcat/Opt/Tomcat_backup Dapatkan versi baru Tomcat pergi ke laman web rasmi Apachetomcat untuk memuat turun versi terkini. Menurut sistem Debian anda

Untuk membangunkan aplikasi Web Python yang lengkap, ikuti langkah -langkah berikut: 1. Pilih rangka kerja yang sesuai, seperti Django atau Flask. 2. Mengintegrasikan pangkalan data dan menggunakan ORM seperti SQLalChemy. 3. Reka bentuk front-end dan gunakan Vue atau React. 4. Lakukan ujian, gunakan pytest atau unittest. 5. Menyebarkan aplikasi, gunakan Docker dan platform seperti Heroku atau AWS. Melalui langkah -langkah ini, aplikasi web yang kuat dan cekap boleh dibina.

Masalahnya di Java Cina terutamanya disebabkan oleh pengekodan watak yang tidak konsisten. Kaedah pembaikan termasuk memastikan konsistensi pengekodan sistem dan mengendalikan penukaran pengekodan dengan betul. 1. Gunakan pengekodan UTF-8 secara seragam dari fail ke pangkalan data dan program. 2. Jelas tentukan pengekodan semasa membaca fail, seperti menggunakan BufferedReader dan InputStreamReader. 3. Tetapkan set aksara pangkalan data, seperti MySQL menggunakan pernyataan AlterDatabase. 4. Tetapkan kandungan-jenis ke teks/html; charset = UTF-8 dalam permintaan dan respons HTTP. 5. Beri perhatian kepada pengekodan konsistensi, penukaran dan kemahiran debug untuk memastikan pemprosesan data yang betul.

Atas alasan yang baik, BlockDag memberi tumpuan kepada minat pembeli. Blockdag telah menaikkan $ 265 juta dalam 28 kumpulan pra-jualannya sebagai pendekatan 2025, pelabur terus mengumpul projek kripto berpotensi tinggi. Sama ada syiling pra-jualan kos rendah yang menawarkan banyak terbalik, atau rangkaian cip biru yang menyediakan peningkatan kritikal, masa ini menyediakan titik masuk yang unik. Dari skalabilitas cepat ke seni bina blockchain modular fleksibel, empat nama cemerlang ini telah menarik perhatian di seluruh pasaran. Penganalisis dan pengangkut awal menonton dengan teliti, memanggil mereka syiling crypto terbaik untuk membeli keuntungan jangka pendek dan nilai jangka panjang sekarang. 1. Blockdag (BDAG): 7 hari lagi

Sistem Linux mengehadkan sumber pengguna melalui perintah ULIMIT untuk mengelakkan penggunaan sumber yang berlebihan. 1.Ulimit adalah arahan shell terbina dalam yang boleh mengehadkan bilangan deskriptor fail (-N), saiz memori (-V), kiraan thread (-u), dan lain-lain, yang dibahagikan kepada had lembut (nilai berkesan semasa) dan had keras (had atas maksimum). 2. Gunakan perintah ULIMIT secara langsung untuk pengubahsuaian sementara, seperti ULIMIT-N2048, tetapi hanya sah untuk sesi semasa. 3. Untuk kesan tetap, anda perlu mengubah suai /etc/security/limits.conf dan fail konfigurasi PAM, dan tambah sessionrequiredpam_limits.so. 4. Perkhidmatan SystemD perlu menetapkan LIM dalam fail unit

Logik Pengesahan Pengguna Laravel Custom boleh dilaksanakan melalui langkah -langkah berikut: 1. Tambah syarat pengesahan tambahan semasa log masuk, seperti pengesahan peti mel. 2. Buat kelas pengawal tersuai dan memperluaskan proses pengesahan. Logik pengesahan tersuai memerlukan pemahaman yang mendalam tentang sistem pengesahan Laravel dan memberi perhatian kepada keselamatan, prestasi dan penyelenggaraan.

ServiceWorker melaksanakan caching luar talian dengan memintas permintaan rangkaian dan menyediakan sumber pra-cache. Langkah -langkah khusus termasuk: 1) Daftar ServiceWorker dan periksa sokongan penyemak imbas; 2) Tentukan dasar cache dan sumber pra-cache dalam fail SW.JS; 3) sumber pra-cache menggunakan acara pemasangan dan memutuskan untuk mendapatkan sumber dari cache atau rangkaian dalam acara Fetch; 4) Perhatikan kawalan versi, pemilihan dasar cache dan kemahiran debug; 5) Mengoptimumkan saiz cache, proses kandungan dinamik, dan pastikan skrip dimuatkan melalui HTTPS.
