gpfs

GPFS是IBM推出的行业领先的并行分布式集群文件系统，从1995年投入商用至今已经有10多年的历史。GPFS是一个共享磁盘的文件系统，集群内的所有节点可以并行地访问所有共享磁盘，并通过分布式的Token管理机制和条带化技术来管理和优化节点的访问。GPFS的应用范围非常广泛，从多节点文件共享服务、实时多媒体处理、到大型的高性能计算集群，我们都可以看到GPFS的优秀表现。 GPFS也应用在众多的企业应用里面，比如HACMP、Oracle RAC、SAP。 GPFS在这些应用里面都表现出了非常出色的性能和高可用性。本文向大家介绍GPFS最新版本3.1版本基本概念及其在AIX环境下的安装和基本配置。

1． GPFS的版本历史

1995年: GPFS前身Tiger Shark发布，应用于实时媒体处理行业，采用了数据条带化技术； 1998年: GPFS1.4版发布，开始应用于高性能计算领域，并支持标准Posix语义； 2002年: GPFS2.1版发布，开始支持Linux，并应用于IBM虚拟带库产品中； 2005年: GPFS2.3版发布，开始支持32位/64位互操作性和广域网连接等特性； 2006年: GPFS3.1版发布，新增信息生命周期管理和分布式锁管理功能。

除了主要版本发布外，GPFS还有多个不断更新的维护级别（ML）升级包，截至本文发稿时，GPFS3.1的当前维护级别（ML）为3.1.0.12,本文的安装和配置基于该版本。 2． GPFS的基本概念

在安装和配置GPFS之前，需要先了解一下GPFS的一些基本概念和相关术语。

SAN:这里指的是磁盘存储设备通过光纤交换机连接到服务器的HBA卡，为服务器提供逻辑存储LUN的模式，在GPFS集群里面，可以通过将同一个LUN同时划分给多台服务器的方式为GPFS提供共享磁盘。 Disk:磁盘，指的是LUN在服务器上识别出的设备，对于单HBA卡LUN,AIX操作系统将其识别为hdisk，在多HBA卡多路径模式下有以下几种: 1) MPIO on AIX = hdisk

2) SDD (non-MPIO) on AIX = vpath 3) PowerPath by EMC = hdiskpower 4) HDLM by Hitatchi = dlmfdrv

NSD:是Network Shared Disk的缩写，最早应用在GPFS的Linux集群上面。是GPFS实现的一种通过网络共享磁盘的技术，集群节点可以通过标准以太网访问NSD，使得不需要将集群的所有的节点都连到SAN上，而是基于NSD创建GPFS文件系统。NSD使用TCP/1191端口。

VSD:是Virtual Shared Disk的缩写，源自基于IBM SP、Switch2、HPS交换机的共享磁盘技术，VSD依赖于RSCT域。GPFS看待VSD就像服务器自己的硬盘一样，可以基于VSD来创建NSD。 File System:文件系统，是物理存储设备和用户之间的接口，其将物理存储设备划分为数据块，并在数据块之上构建数据和元数据的数据结构，达到方便用户（应用程序） 对数据操作的目的。GPFS通过条带花技术将数据并行分布到所有共享磁盘上面，并支持如下数据块大小 ：16K, 64K, 128K, 256K, 512K, 1024K（1M）, 2M, 4M,其中2M和4M是3.1版新增加支持的数据块大小。

Failure Groups:失效组，是指根据磁盘的物理特性划分的不同的组，避免两个不同的失效组在同一个时间点失效。

Replication:复制，当GPFS的复制功能启用时，GPFS文件系统的数据和元数据将被保存两个分布在不同的失效组的副本，当其中一个副本不可用时，另一个副本将使文件系统保持可用。

Cluster Data Server:集群数据服务器是集群中保存集群配置信息的节点．集群配置信息保存在集群数据服务器的/var/mmfs/etc/mmsdrfs文件中。可以配置一个主集群数据服务器和一个备份集群数据服务器。集群启动时需要至少有一个集群数据服务器可用。

Configuration Manager:配置管理器，在GPFS集群里面具有最长连续运行时间的节点自动被选为配置管理器，配置管理器有两个职能：1．选择文件系统管理器；2.判断quorum是否满足。

File System Manager:文件系统管理器，每一个GPFS文件系统被分配一个文件系统管理器，文件系统管理器有3个功能：1.文件系统配置管理，如增加磁盘，修复文件系统 ； 2.文件系统mount 和umount处理。 3.磁盘空间分配管理。

Token Manager:执行分布式Token管理的功能节点，由集群管理软件根据工作负载情况动态地选择哪些节点、多少节点执行Token manager的功能。 Token用来维护节点间数据的一致性和完整性。 Node Quorum:quorum机制决定了至少有多少个quorum节点可用时，集群才可以启动。Quorum的算法为：quorum = 1 + sizeof(quorum nodes)/2。

Storage Pool:存储池，是指一组磁盘设备，可以根据磁盘的性能和其他物理的、价格的属性分为不同的存储池，从而实现层状的存储架构。存储池是GPFS3.1新增的信息生命周期管理的重要概念。例如可以将某一SAN里面的光纤磁盘和SATA磁盘分为两个存储池。

Fileset:文件集，也是GPFS3.1版新增的概念，是文件系统的一个子集，粒度介于文件系统和文件（文件夹是一种特殊的文件）之间。

Policy:规则，是用类似SQL的结构化语法定义的，可以被 GPFS信息生命周期管理规则引擎解释执行的一组语句。有文件放置规则、文件迁移规则、文件删除规则等。例如可以编写一条文件放置规则，定义某个文件集里面owner为CEO的所有文件存放在名为FCstoragepool的存储池。 3． 软件安装

将GPFS3.1的安装文件和3.1.0.12ML包解压缩后共有如下几个文件，用ls命令显示如下：

用installp命令或smit安装

检验安装结果：

需要在所有节点上执行上述安装过程。

执行如下命令将GPFS命令行工具所在目录加入shell的执行路径： export PATH=$PATH:/usr/lpp/mmfs/bin 4． 环境准备 4.1 环境介绍

图1 示例环境

本文的示例环境如图1所示，共有运行AIX5.3ML05操作系统的4台服务器， hostname分别是lpar1、lpar2、lpar3、lpar4,其中lpar1和lpar2上各有两个HBA卡通过光纤交换机连接到一台DS4800上面。DS4800上面划了6个LUN，对lpar1和lpar2都可见，这6个LUN在lpar1和lpar2上识别的设备名都是hdisk5、hdisk6、hdisk7、hdisk8、hdisk9、hdisk10。lpar3和lpar4没有连接到SAN,通过百兆以太网络与lpar1和lpar2相连。我们将用这四台服务器和存储构建一个4个点的GPFS文件系统/gpfs01,对应设备名gpfs01。lpar3和lapr4将作为NSD客户端通过以太网连接到集群，lpar1和lpar2作为NSD服务器为lpar3和lpar4提供到存储设备的 IO访问。

在lpar1上显示磁盘设备如下图所示，我们将用hdisk5至hdisk10共6块盘构建GPFS文件系统。