Installeren van Hadoop op OSX
Ik heb besloten dat ik wilde setup een Hadoop-cluster op de Mac mij stormloop, was dit voornamelijk besloten vanwege Xgrid niet beginnen de nieuwe versie os OsX meer beschikbaar. Ik heb setup die sge clusters voor, het Xgrid uiteraard, en Microsoft Cluster Server, dus ik wilde om het te krijgen onder mijn gordel. Dit is de definitieve handleiding maar het werkte vrij goed voor mij, ik ben nog steeds niet zeker van een aantal van de begrippen maar dat zal komen met de praktijk.
De eerste stap is om ervoor te zorgen dat je hebt de basis.
Command line Xcode tools en Java ontwikkelaar voor uw os versie OsX.
https://Developer.Apple.com/downloads/index.action
Laat eerst het maken van een groep en een gebruiker op elke machine.
Maak een groep met de naam 'hadoop' en vervolgens een admin gebruiker 'hadoopadmin' aan de groep toevoegen.
Laat alles in het werk als hadoopadmin het gemakkelijk te maken.
U kunt downloaden van Hadoop en zelf installeren, maar ik nam een snelkoppeling en homebrew gebruikt om het te installeren.
-> brouwsel installeren hadoop
Hierdoor wordt alle paden van uw env ingesteld in de configuratiebestanden van de juiste hadoop, dus dit een hulp is.
Eenmaal geïnstalleerd kunt instellen de configuratiebestanden in hadoop.
Ik noemde mijn machines
hadoop01 & hadoop02 voor de eerste twee.
De meesters en slaven bestand op alle machines configureren.
Master:
hadoopadmin
slaven:
hadoopadmin
hadoopadmin
Ook het configureren van/etc/hosts op alle machines.
#
# localhost gebruikt voor het configureren van de loopback-interface
# Wanneer het systeem wordt opgestart. Deze ingang niet veranderen.
##
127.0.0.1 localhost
255.255.255.255 broadcasthost
:: 1 localhost
FE80::1% lo0 localhost
#
#
#
# hadoop
132.235.132.67 hadoop01
132.235.132.46 hadoop02
Ik ben met behulp van 2.4.0 dus ze bevinden zich in
/usr/local/Cellar/Hadoop/2.4.0/libexec/etc/Hadoop
Bewerken
Hadoop-env.sh
Ik veranderde dit hier tweetal strafregels.
#export JAVA_HOME="$(/usr/libexec/java_home)"
Aan
exporteren van JAVA_HOME ='/ usr/libexec/java_home - v 1.6'
en
#export HADOOP_OPTS = "$HADOOP_OPTS-Djava.net.preferIPv4Stack=true"
Aan
HADOOP_OPTS export = "- Djava.security.krb5.realm= - Djava.security.krb5.kdc="
Deze laatstgenoemde gestopt een fout die ik kreeg bij het opstarten.
Bewerken
hdfs-site.xml
Invoegen van deze configuratie
DFS.Replication
3
DFS.name.dir
/usr/local/Cellar/Hadoop/2.4.0/hdfs/name
DFS.data.dir
/usr/local/Cellar/Hadoop/2.4.0/hdfs/data
Bewerken
mapred-site.xml.template
Invoegen
mapred.job.tracker
hadoop01:9001
Bewerken
Core-site.xml
FS.default.name
hdfs://hadoop01:9000
Hadoop.tmp.dir
/usr/local/Cellar/Hadoop/2.4.0/tmp
Laat nu een paar hadoop mappen maken
/usr/local/Cellar/hadroop/2.4.0
-> hadoop - mkdir tmp
-> hadoop - mkdir hdfs
-> hadoop - mkdir hdfs/naam
-> hadoop - mkdir hdfs/gegevens
Ik heb ingeschakeld wachtwoordloze SSH op alle machines.
ssh-keygen - t dsa -P "-f ~/.ssh/id_dsa
kat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
Ik vond info hierover op
http://stackoverflow.com/questions/7134535/Setup-passphraseless-SSH-to-localhost-on-OS-x
Ik heb vervolgens de naam knooppunt opgemaakt
-> hadoop namenode-indeling
Toen begon hadoop door uit te voeren
/usr/local/Cellar/Hadoop/2.4.0/libexec/sbin/start-all.sh
Ik heb al deze spullen op al mijn machines, hoewel sommige items die ik denk dat niet hoeven te worden.
Ik heb dank
http://stackoverflow.com &
http://dennyglee.com
Voor tutorials en help krijgen door dit.
Bedankt
Joe Murphy
AKA Grehyton
