Construction de grappes par hadoop pseudo-distribuée
May 07, 2025 pm 04:45 PMPréparation de logiciels
J'utilise une machine virtuelle avec CentOS-6.6, avec le repo du nom d'h?te. Reportez-vous aux étapes pour installer une machine virtuelle Linux dans Windows, j'ai installé JDK dans cette machine virtuelle, reportez-vous au guide pour installer JDK dans Linux. De plus, la machine virtuelle est configurée avec une connexion sans clé elle-même, et les paramètres de configuration de connexion sans clé entre chaque machine virtuelle sont référencés. L'adresse de téléchargement du package d'installation de Hadoop est: http://m.miracleart.cn/link/8485694bae96aebc7c4fe6119599d0e0 .
-
Téléchargez le package d'installation Hadoop sur le serveur et décompressez-le
[root @ repo ~] # tar zxvf hadoop-2.6.5.tar.gz -c / opt / apps /
-
Configurer les variables d'environnement
# Vous pouvez localiser directement la dernière ligne du fichier [root @ repo hadoop-2.6.5] # vi / etc / profil exporter hadoop_home = / opt / apps / hadoop-2.6.5 Export Path = $ Path: $ hadoop_home / bin: $ hadoop_home / sbin [root @ repo hadoop-2.6.5] #. / etc / profil
-
Modifiez les trois fichiers de configuration de Hadoop-env.sh, Mapred-env.sh et Yarn-env.sh, et ajoutez java_home
[root @ repo hadoop] # pwd /opt/apps/hadoop-2.6.5/etc/hadoop [root @ repo hadoop] # vi Hadoop-env.sh exporter java_home = / usr / local / jdk1.8.0_73 [root @ repo hadoop] # vi mapred-env.sh exporter java_home = / usr / local / jdk1.8.0_73 [root @ repo hadoop] # vi yarn-env.sh exporter java_home = / usr / local / jdk1.8.0_73
-
Modifiez les fichiers de configuration Core-site.xml et hdfs-site.xml pour configurer le contenu connexe pseudo-distribué
[root @ repo hadoop] # vi Core-site.xml <iconguration> <propri> <name> fs.defaultfs </name> <value> hdfs: // repo: 9000 </value> propriété> <propri> <name> hadoop.tmp.dir </name> <value> / var / hadoop / pseudo </value> propriété> [root @ repo hadoop] # vi Hdfs-site.xml <iconguration> <propri> <nom> dfs.replication <value> 1 </value> propriété> <propri> <name> dfs.nameNode.secondary.http-address </name> <value> Repo: 50090 </value> propriété> </propri></nom></propri></iconguration></propri></propri></iconguration>
-
Modifiez le fichier de configuration des esclaves et spécifiez le n?ud où se trouve le Datanode
[root @ repo hadoop] # VI esclaves repo
-
Système de fichiers de format
[root @ repo hadoop] # hadoop namenode - format # Success Message17 / 09/16 21:17:11 Info Common.Storage: Directory de stockage / var / hadoop / pseudo / dfs / nom a été formaté avec succès.
-
Démarrer les HDF et les fils
[root @ repo hadoop] # start-dfs.sh Démarrer les Names Nodes sur [Repo] Repo: Démarrage de NameNode, enregistrement vers /opt/apps/hadoop-2.6.5/logs/hadoop-root-nomenode-repo.out Repo: Démarrage de Datanode, enregistrement vers /opt/apps/hadoop-2.6.5/logs/hadoop-root-datanode-repo.out Démarrage des noms de noms secondaires [Repo] Repo: Démarrage du secondarynamenode, enregistrement à /opt/apps/hadoop-2.6.5/logs/hadoop-root-secondarynamenode-repo.out [root @ repo hadoop] # start-yarn.sh Démarrage des démons du fil Démarrage de ResourceManager, se connectant à /opt/hadoop-2.7.4/logs/yarn-root-resourcemanager-repo.out Repo: Démarrage de nodemanager, se connectant à /opt/hadoop-2.7.4/logs/yarn-root-nodemanager-repo.out [root @ repo hadoop] # JPS 4368 JPS 3957 ResourceManager 3512 Namenode 3641 Datanode 4058 Nodemanager 3805 Secondarynynaminode
Visitez la page Web
Construisez avec succès!
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undress AI Tool
Images de déshabillage gratuites

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Article chaud

Outils chauds

Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Hyper-VcanbeenableDOnwindowspro, Enterprise, OreducationEditionsBymeetingSystemRequirements incluant64-bitcpuwithslat, vmMonitorModeExtension, bios / uefiVirtualizationyabled, andatleast4gbram.20

Checkifthetouchpadisdisabledbyusingthefunctionkey(Fn F6/F9/F12),adedicatedtogglebutton,orensuringit’sturnedoninSettings>Devices>Touchpad,andunplugexternalmice.2.UpdateorreinstallthetouchpaddriverviaDeviceManagerbyselectingUpdatedriverorUninstal

OpendeviceManagerBypressingwin XandSelectingItorSearchingInthestartMenu.2

Installer CERTBOT et son plug-in Apache; 2. Exécutez CERTBOT pour obtenir le certificat et configurer le nom de domaine; 3. Configurer éventuellement la redirection automatique de HTTP vers HTTPS; 4. Configurer le renouvellement automatique et passer le test à sec; 5. Vérifiez l'installation et assurez la configuration normale de rechargement d'Apache. Une fois le certificat déployé avec succès, le renouvellement sera automatiquement géré. Une fois l'ensemble du processus terminé, l'accès HTTPS sécurisé peut être atteint.

Utilisation de la formation (MSInfo32) FitweetDetteledSpecSincoldingCPU, RAM, SystemType, Bios, Motherboard, andwindowsVersion.2.CheckSettings> à propos de ForaQuickOverViewofprocessor, Ram, DeviceId, andSystemtype.3

Pour restaurer les polices du système Windows, veuillez d'abord vérifier si vous avez modifié la police à l'aide d'un outil tiers. Si c'est le cas, réinitialisez l'option "Restaurer par défaut" de l'outil; Si aucun outil n'est disponible, vous pouvez localiser manuellement HKEY_LOCAL_MACHINE \ Software \ Microsoft \ Windowsnt \ CurrentVersion \ Fonts via l'éditeur de registre pour s'assurer que la valeur de police de Segoeui est correctement pointée vers Segoeui.ttf et d'autres fichiers, et sauvegarde le registre si nécessaire; Ensuite, exécutez l'invite de commande en tant qu'administrateur et exécutez la commande SFC / scanne pour réparer les fichiers système; Enfin, accédez à Paramètres → Personnalisation → Thème et sélectionnez Windows pour l'allumer par défaut.

Tout d'abord, exécutez le dépanneur à mise à jour Windows pour réparer automatiquement les problèmes courants, 1. Exécutez le dépanneur à mise à jour Windows; 2. Vérifiez les paramètres de connexion réseau et de proxy pour vous assurer que vous pouvez accéder au serveur Windows Update; 3. Utilisez la commande dism pour réparer le stockage des composants et spécifiez la source ISO Windows locale si nécessaire; 4. Spécifiez manuellement le chemin de source ISO lors de l'installation de fonctions facultatives via PowerShell; 5. Réinitialisez les services de composants Windows Update et Clear Cache; 6. Exécuter SFC / ScanNow et CHKDSK pour vérifier les erreurs du système et du disque; Assurez-vous enfin que le système est mis à jour vers les derniers et utilisez d'abord l'ISO officiel pour résoudre le problème des fichiers manquants, et dans la plupart des cas, vous pouvez réparer avec succès les erreurs 0x800F0954

Startwithwindowsmemorydiagnosticbyrunningmdsched.exetocheckforramissuesesee netweogtoducatnextboot, thenreviewResultSineViewerUnderwindowslogs> systemformmemoryDiagnostics-results.2.USETaskManager (Ctrl Shift Esc)
