Cet article vous guide pour installer et tester Apache Hadoop sur votre système Debian. Les étapes suivantes fourniront une description détaillée du processus de configuration et des méthodes de vérification.
étape 1: Installer Java
Assurez-vous que le système a installé Java 8 ou supérieur. Installez OpenJDK 8 en utilisant la commande suivante:
Mise à jour Sudo Apt sudo apt install openjdk-8-jdk
Vérifiez l'installation:
Java-Version
étape 2: Télécharger et décompresser Hadoop
Téléchargez la dernière version de Hadoop à partir du site officiel d'Apache Hadoop et déziptez-le dans le répertoire spécifié (par exemple /usr/local/hadoop
):
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz TAR -XZVF HADOOP-3.3.1.tar.gz -c / usr / local / hadoop `` `(Veuillez remplacer` Hadoop-3.3.1` par le numéro de version réel) ** étape 3: Configurer les variables d'environnement ** Modifiez le fichier `~ / .bashrc` et ajoutez les variables d'environnement suivantes: `` `bash exporter hadoop_home = / usr / local / hadoop Export Path = $ Path: $ hadoop_home / bin: $ hadoop_home / sbin
Faire prendre effet les modifications:
Source ~ / .Bashrc
étape 4: Configurer le fichier de configuration de Hadoop
Modifiez le fichier de configuration dans le répertoire Hadoop:
- core-site.xml :
<configuration> <property> <name>Fs.defaultfs</name> <value>hdfs: // namenode: 9000</value> </property> </configuration>
- hdfs-site.xml :
<configuration> <property> <name>dfs.réplication</name> <value>3</value> </property> <property> <name>dfs.nameNode.name.dir</name> <value>/ usr / local / hadoop / dfs / nom</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/ usr / local / hadoop / dfs / data</value> </property> </configuration>
- mapred-site.xml :
<configuration> <property> <name>mapreduce.framework.name</name> <value>fil</value> </property> </configuration>
- yarn-site.xml :
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>MapReduce_Shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.shufflehandler</value> </property> </configuration>
étape 5: Format HDFS
Sur le n?ud NameNode, exécutez la commande suivante pour formater HDFS:
hdfs namenode -format
étape 6: Démarrez le service Hadoop
Démarrer NameNode et Datanode sur le n?ud NameNode:
start-dfs.sh
Démarrez le fil sur le n?ud ResourceManager:
start-yarn.sh
étape 7: Test de mode local
Passez à l'utilisateur de Hadoop:
su - Hadoop
Créer des répertoires et des fichiers d'entrée:
mkdir ~ / entrée vi ~ / input / data.txt
Entrez les données de test (par exemple "Hello World", "Hello Hadoop"), enregistrez et sortez.
Exemple d'exemple de compte:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*..jar wordCount ~ / input / data.txt ~ / sortie `` `(Veuillez l'ajuster en fonction du nom du fichier de package JAR réel) Voir les résultats: `` `bash ls ~ / sortie Cat ~ / Output / Part-R-00000
La sortie correcte indique que le mode local Hadoop s'exécute avec succès. Veuillez noter que les étapes ci-dessus supposent que vous testez dans un environnement autonome. Pour les environnements de cluster, des modifications de configuration correspondantes sont nécessaires. Assurez-vous de vous référer à la documentation officielle de Hadoop pour des informations de configuration plus détaillées et plus détaillées.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undress AI Tool
Images de déshabillage gratuites

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Article chaud

Outils chauds

Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Le code PHP peut être exécuté de plusieurs manières: 1. Utilisez la ligne de commande pour entrer directement le "nom de fichier PHP" pour exécuter le script; 2. Mettez le fichier dans le répertoire racine du document et accédez-y via le navigateur via le serveur Web; 3. Exécutez-le dans l'IDE et utilisez l'outil de débogage intégré; 4. Utilisez le bac à sable PHP en ligne ou la plate-forme d'exécution de code pour les tests.

Pour développer une application Web Python complète, suivez ces étapes: 1. Choisissez le cadre approprié, tel que Django ou Flask. 2. Intégrez les bases de données et utilisez des orms tels que Sqlalchemy. 3. Concevez le frontal et utilisez Vue ou React. 4. Effectuez le test, utilisez Pytest ou Unittest. 5. Déployer les applications, utiliser Docker et des plates-formes telles que Heroku ou AWS. Grace à ces étapes, des applications Web puissantes et efficaces peuvent être construites.

La mise à jour de la version Tomcat dans le système Debian comprend généralement le processus suivant: Avant d'effectuer l'opération de mise à jour, assurez-vous de faire une sauvegarde complète de l'environnement Tomcat existant. Cela couvre le dossier / opt / tomcat et ses documents de configuration connexes, tels que server.xml, context.xml et web.xml. La tache de sauvegarde peut être terminée via la commande suivante: sudocp-r / opt / tomcat / opt / tomcat_backup Obtenez la nouvelle version Tomcat allez sur le site officiel d'apachetomcat pour télécharger la dernière version. Selon votre système Debian

Le problème brouillé en chinois java est principalement causé par un codage de caractère incohérent. La méthode de réparation comprend la cohérence du codage du système et la gestion correcte de la conversion de codage. 1. Utilisez UTF-8 Encodage uniformément des fichiers aux bases de données et programmes. 2. Spécifiez clairement le codage lors de la lecture du fichier, tel que l'utilisation de BufferedReader et InputStreamReader. 3. Définissez le jeu de caractères de la base de données, tel que MySQL à l'aide de l'instruction AlterDatabase. 4. Définissez le type de contenu sur Text / HTML; charset = UTF-8 dans les demandes et réponses HTTP. 5. Faites attention à l'encodage des compétences de cohérence, de conversion et de débogage pour assurer le traitement correct des données.

Pour une bonne raison, BlockDag se concentre sur les intérêts des acheteurs. Blockdag a recueilli 265 millions de dollars étonnants en 28 lots de ses préventes à l'approche de 2025, les investisseurs accumulent régulièrement des projets crypto-potentiels. Qu'il s'agisse de pièces de pré-vente à faible co?t qui offrent beaucoup d'avantages ou d'un réseau de bleu qui se prépare aux mises à niveau critiques, ce moment fournit un point d'entrée unique. De l'évolutivité rapide à l'architecture modulaire flexible modulaire, ces quatre noms exceptionnels ont attiré l'attention sur tout le marché. Les analystes et les premiers adoptants surveillent attentivement, les appelant les meilleures pièces de monnaie cryptographiques pour acheter des gains à court terme et une valeur à long terme maintenant. 1. Blockdag (BDAG): 7 jours à faire

Linux System restreint les ressources utilisateur via la commande UliMIT pour éviter une utilisation excessive des ressources. 1.Ulimit est une commande shell intégrée qui peut limiter le nombre de descripteurs de fichiers (-n), la taille de la mémoire (-v), le nombre de threads (-u), etc., qui sont divisés en limite douce (valeur effective actuelle) et limite dure (limite supérieure maximale). 2. Utilisez directement la commande ulimit pour une modification temporaire, telle que Ulimit-N2048, mais elle n'est valable que pour la session en cours. 3. Pour un effet permanent, vous devez modifier /etc/security/limits.conf et les fichiers de configuration PAM, et ajouter SessionRequiredPam_limits.so. 4. Le service SystemD doit définir Lim dans le fichier unitaire

La logique d'authentification de l'utilisateur Laravel personnalisé peut être implémentée via les étapes suivantes: 1. Ajoutez des conditions de vérification supplémentaires lors de la connexion, telles que la vérification des bo?tes aux lettres. 2. Créez une classe de garde personnalisée et développez le processus d'authentification. La logique d'authentification personnalisée nécessite une compréhension approfondie du système d'authentification de Laravel et prêter attention à la sécurité, aux performances et à la maintenance.

Le travailleur de service implémente la mise en cache hors ligne en interceptant les demandes de réseau et en fournissant des ressources pré-cache. Les étapes spécifiques incluent: 1) Enregistrer le travailleur-service et vérifier la prise en charge du navigateur; 2) Définir les politiques de cache et les ressources pré-cache dans le fichier SW.JS; 3) Ressources pré-cache à l'aide de l'événement d'installation et décidez d'obtenir des ressources à partir du cache ou du réseau dans l'événement Fetch; 4) Faites attention au contr?le des versions, aux compétences de sélection et de débogage des politiques de cache; 5) Optimiser la taille du cache, traiter le contenu dynamique et assurer que les scripts sont chargés via HTTPS.
