Hadoop为分布式下搭建Hive

安装环境

hadoop已经安装结束， mysql已经安装结束。

hive是安装在集群中的主节点上（hostname：master） hadoop 版本号：hadoop-0.20.2 hive版本号： hive-0.11.0

mysql版本号：mysql-5.5.34（linux ubutu安装时已经安装）

1、启动hadoop的HDFS

2、下载Hive：hive-0.11.0-bin.tar.gz 3、解压hive-0.11.0-bin.tar.gz到/usr/hive下

tar –xzvf hive-0.11.0-bin.tar.gz –C /usr/hive

4、修改环境变量

export HIVE_HOME=/usr/hive $path=$HIVE_HOME/bin:$path

5、hive配置

hive安装目录的config文件下有hive-env.sh.template

复制出hive-env.sh到当前文件夹下（cp hive-env.sh.template hive-env.sh）：修改

#export HADOOP_HEAPSIZE=1024前面的“#”去掉

# Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/usr/hadoop/hadoop-0.20.2（hadoopde的安装目录）

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/usr/hadoop/hive-0.11.0-bin/conf（hive的安装目录下的config目录）

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:

export HIVE_AUX_JARS_PATH=/usr/hadoop/hive-0.11.0-bin/lib（hive安装目录下的lib目录）

source hive-env.sh使修改生效

hive安装目录的config文件下有hive-default.xml.template（普通设置） 复制出hive-default.xml到当前文件夹下（cp hive-default.xml.template hive-default.xml.template）

复制出hive-site.xml（hivede的个性化设置，会覆盖hive-default.xm里面的设置）到当前文件夹下（cp hive-site.xml.template hive-site.xml.template）：

在HDFS中创建/tmp和/user/hive/warehouse并设置权限： 提示：记得先打开HDFS（执行start-all.sh）； hadoop fs -mkdir /tmp（临时文件目录）

hadoop fs -mkdir /user/hive/warehouse（数据目录） hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse 并在hive-site.xml里设置

hive.metastore.warehouse.dir

hdfs://master:9000/user/hive/warehouse location of default database for the warehouse

hive.exec.scratchdir hdfs://master:9000/tmp/

Scratch space for Hive jobs

元数据存储在数据库中，选择mysql数据库，并把

mysql-connector-java-5.1.27-bin.jar文件放到hive安装目录下的lib文件中。配置如下：

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName hive

username to use against metastore database

javax.jdo.option.ConnectionPassword hive

password to use against metastore database

6、在hive配置好以后，若想让其运行起来，应该在mysql库中创建用户hive,并且密码也要设置为hive；

这个用户名与密码是和前面的配置文件的

javax.jdo.option.ConnectorUserName javax.jdo.option.ConnectionPassword 是相对应的。

如何在mysql中创建用户？并赋予其权限？ service mysqld start mysql

mysql> CREATE USER'hvie'@'127.0.0.1'IDENTIFIED BY 'hive'; mysql> CREATE USER'hvie'@'localhost'IDENTIFIED BY 'hive'; mysql> CREATE USER'hvie'@'master'IDENTIFIED BY 'hive';

mysql> GRANT ALL PRIVILEGES ON *.* TO'hive'@'127.0.0.1'WITH GRANT OPTION;

mysql> GRANT ALL PRIVILEGES ON *.* TO'hive'@'localhost'WITH GRANT OPTION;

mysql> GRANT ALL PRIVILEGES ON *.* TO'hive'@'master'WITH GRANT OPTION;

mysql> flush privileges;

7、测试成功

在终端输入hive：显示如下：

代表成功！！！！！！！！！！！！