大数据平台部署方案完整版

支持多种部署方式 ..................................................................................................................................... 55 编译Tachyon .............................................................................................................................................. 56

下载并上传源代码 ................................................................................................................................. 57 编译代码 ................................................................................................................................................. 58

集群模式部署Tachyon .............................................................................................................................. 58

集群环境 ................................................................................................................................................. 58 基于Zookeeper的Fault Tolerant Tachyon Cluster 实现 ....................................................................... 59

Tachyon环境变量 ...................................................................................................................................... 63 Tachyon通用配置 ...................................................................................................................................... 63 TachyonMaster配置 ................................................................................................................................... 64 TachyonWorker配置 .................................................................................................................................. 64 用户配置 ..................................................................................................................................................... 65 在Spark中使用Tachyon ........................................................................................................................... 66 在MapReduce中使用Tachyon ................................................................................................................. 66

12.

Hue安装 ........................................................................................................................................... 66

下载编译源码包 ......................................................................................................................................... 66 Hue环境配置 ............................................................................................................................................. 68

HDFS配置 ................................................................................................................................................ 68 Yarn配置 ................................................................................................................................................. 70 Hive配置 ................................................................................................................................................. 71 HBase配置 .............................................................................................................................................. 71 Zookeeper配置 ....................................................................................................................................... 72

5

1. 环境配置

主机地址

主机地址 用户名 密码 172.26.40.74 root cloud4c 172.26.40.75 root cloud4c 172.26.40.76 root cloud4c 172.26.40.77 root cloud4c 172.26.40.78 root cloud4c 查看服务器硬件环境信息

查看CPU型号：

cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq –c

查看物理CPU颗数：

cat /proc/cpuinfo | grep physical | uniq –c

四颗一核的CPU

查看CPU运行模式： getconf LONG_BIT

查看CPU是否支持64位：

cat /proc/cpuinfo | grep flags | grep ' lm ' | wc –l

结果大于0, 说明支持64bit计算. lm指long mode, 支持lm则是64bit

查看操作系统版本和内核

查看操作系统版本：

cat /etc/issue或者 lsb_release -a

6

查看内核信息：

关闭防火墙和SELinex

1. 关闭防火墙：

service iptables stop（临时关闭） chkconfig iptables off（重启后生效）

2. 关闭SELINUX，SELinux功能是一种强制存取控制的实现，能够进一步的增强Linux系统的安全性，但

是开启此项功能会给初学者带来很多的不便，大多都关闭此项功能 ? setenforce 0 （临时生效）

? 修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

所有主机时间同步

1. 查看目前主机时间：

date

2. 修改时间：

date -s 00:00:00

3. 时间同步(主机)，将172.26.40.74的本地时钟作为时间供给源，这样，即便它失去网络连接，它也可

以继续为网络提供服务 yum install ntp vi /etc/ntp.conf server 127.127.1.0

fudge 127.127.1.0 stratum 10 4. 重新启动服务

service ntpd stop service ntpd start

5. 其他机器同步，等待大概五分钟，再到其他机上同步该机器时间（先确保时区一样，否则同步以后时

间也是有时区差的） ntpdate 172.26.40.74 6. date查看时间是否同步完成

7

安装JDK

1. 查看Linux自带的JDK是否已安装：

java –version

2. 获得如下信息，表明有自带JDK需要卸载

3. 查看jdk的信息：

rpm -qa|grep java

4. 卸载自带的jdk：

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

5. 解压安装新的Oracle JDK，将jdk-7u79-linux-x64.tar.gz放在/usr/local目录下，解压tar -zxvf jdk-7u79-linux-x64.tar.gz 6. 配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin:

export CLASS_PATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar 7. 查看JDK是否配置成功

source /etc/profile java –version

8. 卸载自己安装的JDK方法

rpm -e --nodeps jdk-1.7.0_67（jdk-1.7.0_67为自己安装的JDK版本）

Maven安装

1. 去maven官网下载maven的安装包，并上传。

8