高校大数据专业教学科研平台建设方案

向外扩展的架构，可以经济的存储所有公司的数据供以后使用，节省的费用是非常惊人的。

Ⅲ灵活性更好

Hadoop能够使企业访问新的数据源，并可以分析不同类型的数据，从这些数据中产生价值，这意味着企业可以利用Hadoop的灵活性从社交媒体、电子邮件或点击流量等数据源获得宝贵的商业价值。

Ⅳ处理速度更快

Hadoop拥有独特的存储方式，用于数据处理的工具通常在与数据相同的服务器上，从而导致能够更快的处理器数据。如果处理大量的非结构化数据，Hadoop能够在几分钟内处理TB级的数据，而不是像以前都需要以小时为单位。

Ⅴ容错能力更强

Hadoop的一个关键优势就是它的容错能力，Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。。当数据被发送到一个单独的节点，该数据也被复制到集群的其它节点上，这意味着在故障情况下，存在另外的副本可供使用。

第 9 页 共 40 页

④ ZDM平台安装界面截图： ⅠZDM平台登陆界面

用户名密码登陆后，可以看到如下的首页。

第 10 页 共 40 页

Ⅱ系统管理界面

在系统管理界面中，“用户管理”和“角色管理”中，可以定义角色（管理员、操作员等）、添加用户、修改用户密码等。此外，在“资源管理”页面中，可以为每一个用户指定允许安装的组件或者模块。

Ⅲ组件安装界面

在“组件安装”界面中，具有以下功能：基础信息配置（主机名映射）、Hadoop组件安装、Spark组件安装、数据挖掘工具安装、集群监控及HUE安装。以下逐一进行介绍。

ⅰ 基础信息配置

基础信息配置，也即主机名映射，在初次安装Hadoop集群前需要配置各服务器的IP地址与主机名的映射。点击“配置”按钮后，系统会在后台完成以下配置。

修改各服务器的主机名，完成映射。 完成各服务器之间的SSH互信。 完成各服务器java JDK环境配置。

第 11 页 共 40 页

ⅱ Hadoop基础组件

在Hadoop基础组件页面，可以点击各个Hadoop基础组件的图标，完成相应组件的安装及配置。

说明：由于组件之间有相互依赖关系，因此，如果某个组件的前序依赖组件没有安装，系统会提示用户安装前序依赖组件。

ⅲ Spark基础组件安装

第 12 页 共 40 页