Hadoop及hive 集群配置安装文档

主从配置：

在$HADOOP_HOME/conf目录中存在masters和slaves这两个文件，用来做Hadoop的主从配置。

Masters代码： 10.17．36.34 Slaves 代码： 10．17.36.33

第五步：启动服务

[root@localhost] #启动服务之前，我们需要做一件事情，非常重要，那就是格式化命名空间 [root@localhost] ./hadoop namenode -format [root@localhost] #启动dfs和map/reduce服务 [root@localhost] ./start-all.sh 我们用如下命令验证一下是否启动成功：

[root@localhost] $HADOOP_HOME/bin/hadoop dfs -ls 如果没有错误提示或者出现文件列表，那么恭喜你，Hadoop成功启动了，另外，我们可以通过访问http://localhost:50070来查看hdfs的状态，访问http://localhost:50030来查看map/reduce的状态。

如果出现错误，或Hadoop集群未启动，可以查看$HADOOP_HOME/logs/下的日志文件。

至此，Hadoop环境已经安装完毕。

第六步：hive安装与配置

安装文件:hive-0.6.0-bin.tar.gz 在master机器上作如下操作：

hive需要Hadoop的支持，也就是说在安装Hive之前需要正确安装Hadoop，这里不再阐述Hadoop的安装过程。一般我们会将Hive安装到NameNode所在主机上，这里假设使用root用户进行安装，Hive的安装过程很简单：

[root@192.168.1.111] # 去到hadoop的目录，使用hadoop的项目根目录 [root@192.168.1.111] cd /opt/hadoop [root@192.168.1.111] # 下载项目包（去官网（http://hadoop.apache.org/）下载Hadoop项目） [root@192.168.1.111] wget http://www.apache.org/dist/hadoop/hive/hive-0.5.0/hive-0.5.0-dev.tar.gz [root@192.168.1.111] # 解压 [root@192.168.1.111] tar xzvf hive-0.5.0-dev.tar.gz [root@192.168.1.111] # 进入目录 [root@192.168.1.111] cd hive-0.6.0-bin [root@192.168.1.111] # 与Hadoop的安装一样，我们应该习惯性的将安装目录写入环境变量 [root@192.168.1.111] export HIVE_HOME=`pwd` [root@192.168.1.111] # 也可以将环境变量设置到/etc/profile中 最后一步要把HIVE_HOME设定在/etc/profile

这里注意最后一步，最好把HIVE_HOME写入/etc/profile中然后注销，重新用root用户登录:vi /etc/profile,在profile末尾写入以下两行 export HIVE_HOME=/opt/hadoop/hadoop-0.6.0-bin export HIVE_HOME

根据官方文档的描述，在使用Hive之前需要在HDFS中创建几个目录，并且将其开放g+w模式。如下代码所示：

[root@192.168.1.111] $HADOOP_HOME/bin/hadoop fs -mkdir /tmp [root@192.168.1.111] $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse [root@192.168.1.111] $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp [root@192.168.1.111] $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

第七步：hive 检测

Hive提供了一个CLI（Command Line Interface）客户端，我们可以通过CLI进行直观的DDL、DML及SQL操作。以下是CLI使用示例： [root@192.168.1.111] # 打开Hive客户端 [root@192.168.1.111] $HIVE_HOME/bin/hive hive>CREATE TABLE tt ( id INT, name string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' COLLECTION ITEMS TERMINATED BY '\\n' STORED AS TEXTFILE; hive>select * from tt; hive>drop table tt; 在hive控制台，执行命令成功后会打印如下所求的提示： OK Time taken: 5.004 seconds 如果有以上提示就证明你的Hive已经安装成功并能运行了。