大数据平台部署方案完整版

2. 解压缩maven的安装包

tar -zxvf apache-maven-3.3.9-bin.tar.gz

3. 配置maven环境变量

vim .bash_profile

export MAVEN_HOME=/home/hadoop/apache-maven-3.3.9 export PATH=$PATH:$MAVEN_HOME/bin

4. 测试maven是否配置成功

9

配置主机名

1. 在172.26.40.74执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Master1

执行如下命令查看主机名是否修改成功 service network restart hostname

2. 在172.26.40.75执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Master2

3. 在172.26.40.76执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Slave1

4. 在172.26.40.77执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Slave2

5. 在172.26.40.78执行如下命令

vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Slave3

配置hosts映射

在所有节点添加如下配置： vi /etc/hosts

172.26.40.74 Master1 172.26.40.75 Master2 172.26.40.76 Slave1 172.26.40.77 Slave2 172.26.40.78 Slave3

新建hadoop用户

为所有节点新建一个hadoop用户

10

配置SSH免密码登录

配置主机之间hadoop用户的SSH免密码登录 1. 在所有节点执行如下命令以生成秘钥：

ssh-keygen -t rsa

2. 进入.ssh/目录，并复制id_rsa.pub文件生成一个新的文件 authorized_keys

3. 验证每个节点自己的免密码登录是否成功

11

4. 将其它节点的秘钥拷贝到Master1节点

ssh-copy-id -i Master1

5. 将Master1最终生成的密码拷贝到Master2、Slave1、Slave2、Slave3

6. 测试节点之间免密码登录是否配置成功

2. 安装Zookeeper

因为zookeeper有这样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的，所以本次选择在Master1、Master2、Slave1、Slave2、Slave3上安装Zookeeper 1. 在Master1上解压安装Zookeeper

tar -zxvf zookeeper-3.4.8.tar.gz

修改配置文件

2. 修改配置文件zoo.cfg

12