Hadoop大数据环境搭建v1.0

基于Hadoop的大数据试验环境搭建

目录

1、操作系统搭建及网络拓扑图 ........................................................... 错误！未定义书签。 1.1、操作系统版本 .............................................................................................................. 3 1.2、硬件配置 ...................................................................................................................... 3 1.3、系统账户 ...................................................................................................................... 4 1.4、系统安装 ...................................................................................................................... 4 1.4.1、放入光盘 ............................................................................................................... 4 1.4.2、设置centos的配置 .............................................................................................. 5 1.4.3、语言设置 ............................................................................................................... 5 1.4.4、磁盘驱动方式 ....................................................................................................... 5 1.4.5、配置机器名和网络配置 ....................................................................................... 6 1.4.6、配置时区 ............................................................................................................... 8 1.4.7、设置root密码 ...................................................................................................... 8 1.4.8、设置磁盘 ............................................................................................................... 9 1.4.9、选择linux 的安装方式 ...................................................................................... 12 1.4.10、进入自动安装界面 ........................................................................................... 14 1.4.11、重启动，进行后续配置。 ............................................................................... 14 2、Hadoop平台搭建及维护 ................................................................................................. 15 2.1、搭建 Hadoop 集群 ................................................................................................... 15 2.2、hadoop维护............................................................................................................... 19 2.3系统日志说明 ............................................................................................................... 20 2.4常见系统问题及应对办法 ........................................................................................... 21

1、操作系统搭建及网络拓扑图

网络拓扑如上图所示，基于 Hadoop 架构的计算存储集群。该集群由一个主（Master）节点（同时为slave节点），共计4台（Slave）shuju节点组成，其中Master选择其中一台IBM服务器，三台Slave都是基于 X86 架构的 PC 机和IBM master节点上

1.1、操作系统版本

该平台采用centos 6.4操作系统，内核版本：

Linux master 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86_64 x86_64 x86_64 GNU/Linux

1.2、硬件配置

配置 2620*2；64GB内存；4块1TB角色 Master，datanode 型号 IBM3650 磁盘 DellPC服务器 Pc服务器 Pc服务器 2TB；12GB内存 2TB磁盘；8GB内存 2TB磁盘；12GB内存 Datanode Datanode Datanode 1.3、系统账户

账户名称 Root Hadoop 密码 Password~！@ Hadoop 1.4、系统安装

前提条件：准备centos 6.4 系统安装光盘、

1.4.1、放入光盘

将光盘插入光驱，启动服务器，进入服务器的BIOS，修改驱动为dvd驱动。重启后进入安装界面。

默认选择第一个然后回车，用tab键完成切换到skip 回车