linux搭建Hadoop2联盟

搭建federation

(多了federation配置)

ns1的namenode：haoop0 ns2的namenode：haoop1

datanode：hadoop2、hadoop3、hadoop4

在搭建联盟时，应注意建立hadoop1,hadoop2,hadoop3,hadoop4,hadoop5的映射关系,以及已经可以ssh无密码登陆

1.配置文件hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

2.配置文件core-site.xml

fs.defaultFS hdfs://ns1

hadoop.tmp.dir

/usr/local/hadoop/tmp

fs.viewfs.mounttable.default.link./ns0 hdfs://hadoop0:9000/

fs.viewfs.mounttable.default.link./ns1 hdfs://hadoop1:9000

3.配置文件hdfs-site.xml

dfs.replication 2

dfs.nameservices ns1,ns2

dfs.ha.namenodes.ns1 hadoop101

dfs.namenode.rpc-address.ns1.hadoop101 hadoop0:9000

dfs.namenode.http-address.ns1.hadoop101 hadoop0:50070

dfs.ha.namenodes.ns2 hadoop102

dfs.namenode.rpc-address.ns2.hadoop102 hadoop1:9000

dfs.namenode.http-address.ns2.hadoop102 hadoop1:50070

4.配置文件yarn-site.xml

yarn.resourcemanager.hostname

hadoop0

【配置resourcemanager的地址】

yarn.nodemanager.aux-services mapreduce_shuffle

5.配置文件mapred-site.xml

mapreduce.framework.name yarn

6.配置文件slaves

hadoop2 hadoop3 hadoop4

7.复制Hadoop

8.格式化namenode、启动namenode

在hadoop0上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1 在hadoop0上分别执行hadoop/sbin/hadoop-daemon.sh start namenode

在hadoop1上执行hadoop/bin/hdfs namenode -format -clusterId clusterid1

【clusterId的值与hadoop0上执行的clusterId的值完全相同。如果不同，就不属于同一个federation】

在hadoop1上分别执行hadoop/sbin/hadoop-daemon.sh start namenode

9.启动datanode

在hadoop0上分别执行hadoop/sbin/hadoop-daemons.sh start datanode

10.启动resourcemanager和nodemanager

在hadoop0上执行 hadoop/sbin/start-yarn.sh start resourcemanager

11.验证

viewFS是跨隶属于同一个federation的多个hdfs的文件管理系统。

使用hadoop0:50070/dfsclusterhealth.jsp查看集群情况

使用hadoop/bin/hdfs dfs -ls viewfs:///统一查看联邦中的数据内容