hadoop集群搭建配置

hadoop安装配置 (2012-6-9) 分类： 分布式 hadoop安装配置 系统环境

redhat enterprise 6 所需软件

hadoop-0.20.2.tar.gz jdk-6u21-linux-x64.bin

部署环境：

namenode:192.168.10.20(hadoop1) datanode:192.168.10.21(hadoop2) 192.168.10.22(hadoop3) 192.168.10.23(hadoop4) 一、安装

1、在namenode:(在datanode上操作和以下相同) [hadoop@hadoop1 ~]# vi /etc/hosts 192.168.127.146 hadoop1 192.168.127.145 hadoop2 192.168.127.147 hadoop3 192.168.127.148 hadoop4

2、用root登陆,建立hadoop用户 [hadoop@hadoop1 ~]# useradd hadoop [hadoop@hadoop1 ~]# passwd hadoop 输入******做为密码

3、su - hadoop #进入hadoop用户目录 [hadoop@hadoop1 ~]# su - hadoop

[hadoop@hadoop1 ~]$ ssh-keygen -t rsa #建立ssh目录,敲回车到底 [hadoop@hadoop1 ~]$ cd .ssh/

[hadoop@hadoop1 .ssh]$ lltotal 20

-rw------- 1 hadoop hadoop 1675 Sep 23 16:19 id_rsa -rw-r--r-- 1 hadoop hadoop 403 Sep 23 16:19 id_rsa.pub -rw-r--r-- 1 hadoop hadoop 3136 Sep 24 15:23 known_hosts

[hadoop@hadoop1.ssh]$scp -r id_rsa.pub hadoop@hadoop2:/home/hadoop/.ssh/ [hadoop@hadoop1 .ssh]$ ssh hadoop2

[hadoop@hadoop2 .ssh]$ cat id_rsa.pub >>authorized_keys [hadoop@hadoop2 .ssh]$ chmod 644 authorized_keys 其它datanode机器操作一样

4、jdk-6u21-linux-x64.bin安装 下载JDK（下面给出一个下载地址）：

http://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586-rpm.bin

看有的资料上说有些Linux自带的有jdk1.4；如果自带的有jdk1.4的话首先要把jdk1.4卸载掉。具体做法： 输入命令：

#rpm -qa | grep gcj

如果输出没有内容，说明没有jdk1.4，如果输出有内容，要把搜索到的文件卸载掉，命令为：

#rpm -e --nodeps [上步操作输出的文件] 安装jdk

将下载下来的文件上传到Linux中的一个目录中，如：/home/software 进入/home/software ： #cd /home/software 修改jdk1.6的使用权限：

#chmod +x jdk-6u31-linux-i586-rpm.bin 解压并安装：命令：

#./jdk-6u31-linux-i586-rpm.bin (默认安装在/usr/java中) 安装过程中间会有一个

Press Enter to continus .....

按照提示按下回车键过一会儿就会输出 Done. 提示安装成功

****************************** 环境变量配置：打开文件/etc/profile #vi /etc/profile

在该profile文件中最下面添加： JAVA_HOME=/usr/java/jdk1.6.0_31 JRE_HOME=/usr/java/jdk1.6.0_31/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib(注意：前面的.: )

export JAVA_HOME JRE_HOME PATH CLASSPATH 添加完毕保存退出 source /etc/profile java -version

显示 java version \javac -version

显示 javac version \安装成功) ********************** 卸载rpm版的jdk： rpm -qa|grep jdk

显示：jdk-1.6.0_31-fcs

卸载：#rpm -e --nodeps jdk-1.6.0_31-fcs

5、hadoop-0.21.0.tar.gz安装

[root@master src]# tar -zxvf hadoop-0.21.0.tar.gz [root@master src]# mv hadoop-0.21.0 /usr/local/ [root@master local]# ln -s hadoop-0.21.0 hadoop

6、修改环境变量

[root@master src]# vi /etc/profile export JAVA_HOME=/usr/local/java

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin [root@master src]# hadoop version Hadoop 0.21.0

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.21 -r 985326

Compiled by tomwhite on Tue Aug 17 01:02:28 EDT 2010

From source with checksum a1aeb15b4854808d152989ba76f90fac

二、配置 配置文件 1、hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,hadoop-env.sh,masters,slaves

namenode配置

[hadoop@hadoop1 ~]$ cd /usr/local/hadoop/conf/

[hadoop@hadoop1 ~]$ vi hadoop-env.sh (修改java环境变量） export JAVA_HOME=/usr/local/java

[hadoop@hadoop1 ~]$ vi core-site.xml(hdfs和mapreduce中很普通的I/O设置)

fs.default.name

hdfs://hadoop1:9000

[hadoop@hadoop1 ~]$ vi hdfs-site.xml(HDFS后台程序设置的配置：名称节点，第二名称节点和数据节点)

dfs.replication 3

dfs.name.dir

/usr/local/hadoop/namenode/

hadoop.tmp.dir

/usr/local/hadoop/tmp/

[hadoop@hadoop1 ~]$ vi mapred-site.xml

mapred.job.tracker hadoop1:9001

mapred.tasktracker.map.tasks.maximum 4

mapred.tasktracker.reduce.tasks.maximum 4

datanode配置 （只需修改hdfs-site.xml) [hadoop@hadoop2 ~]$ vi hdfs-site.xml

dfs.replication 3

dfs.data.dir

/home/hadoop/data

hadoop.tmp.dir

/usr/local/hadoop/tmp/

[hadoop@hadoop1 conf]$ vi masters hadoop1

[hadoop@hadoop1 conf]$ vi slaves hadoop2 hadoop3 hadoop4

[hadoop@hadoop1 ~]$ start-all.sh [hadoop@hadoop1 ~]$ stop-all.sh