PC集群高性能运算系统的机构设计和应用软件的开发 - 图文

哈尔滨石油学院本科生毕业设计（论文）

目前又出现了SAS接口的硬盘，SAS(Serial Attached SCSI)即串行连接SCSI，是新一代的SCSI技术，和现在流行的Serial ATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性。

SAS的接口技术可以向下兼容SATA。具体来说，二者的兼容性主要体现在物理层和协议层的兼容。在物理层，SAS接口和SATA接口完全兼容，SATA硬盘可以直接使用在SAS的环境中，从接口标准上而言，SATA是SAS的一个子标准，因此SAS控制器可以直接操控SATA硬盘，但是SAS却不能直接使用在SATA的环境中，因为SATA控制器并不能对SAS硬盘进行控制；在协议层，SAS由3种类型协议组成，根据连接的不同设备使用相应的协议进行数据传输。其中串行SCSI协议(SSP)用于传输SCSI命令；SCSI管理协议(SMP)用于对连接设备的维护和管理；SATA通道协议(STP)用于SAS和SATA之间数据的传输。因此在这3种协议的配合下，SAS可以和SATA以及部分SCSI设备无缝结合。

综合考虑硬盘的性能，我们选择了IBM 146GB 10K 2.5 SAS 热插拔HDD 硬盘。

2.1.2 交换机的选择

对于现在微机集群，当处理器的速度达到一定数值级之后，集群的整体性能很大程度是由节点之间的网络传输速度决定的。因此，为了构建高性能的集群，除了节点选择好的网卡外，最重要的就是交换机的选择。

首先是交换机背板带宽，这决定了交换机的速度。其次要考虑交换机的丢包率，丢包率也叫帧丢失。网络就象一条交通要路，其传输的数据犹如行驶的车辆。车的流量随时变化的，也就是数据流量在不停的变化，处理器的速度也随之不停的改变，并且呈现很尖锐的曲线变化。丢包恰恰出现在负载变化率最大的时候。这是因为处理器在处理交换机缓存中的数据时，由于瞬间的数据量变化使缓存与处理器之间造成瞬间的传输拥塞或中断，随之出现了丢包现象，数据就从处理器和缓存之间的这条“缝”中漏掉了。为了解决这个问题，高端的交换机一般采用加大缓存和使用更快的处理器，使得丢包率小于0.3%。

为此，我们选择了Force10 E1200作为数据中心交换机，是一款全线速万兆以太网交换机，它的背板带宽可达900Gbps,可提供672个全线速以太网端口或56个10GB的端口。Force10 E系列交换机提供高密度千兆以太网端口，汇接配置了千兆以太网适配器的服务器，提供无阻塞、高性能的服务器群之间的通信。Force10为追求更高性能和更低总体拥有成本的下一代数据中心提供了新型解决方案，产品已经在Google、Yahoo、Amazon、Rent-A-Car、ESPN、Friendster、Microsoft、百度等数据中心中使用。

2.1.3集群存储系统的选择

作为集群高性能运算系统，除了运算部分外，集中网络存储是集群系统另一个重要的部分。网络存储的容量、速度和可靠性是存储的重要指标，同时对于集群的整体运算性能起到至关重要的作用。集群在运算过程中需要从集中存储上读取数据，而且运算的中间数据和运算结果存储到网络存储上。目前集群常用的存储结构多位SAN结构。

由于地震资料数据量比较大，特别是随着野外采集精度的不断提高，仅吉林探区每年

9

哈尔滨石油学院本科生毕业设计（论文）

三维的数据量就有12TB左右，特别是进几年叠前时间偏移和深度偏移等处理技术的应用，不但要耗费大量的机器时间，而且需要大量存储，这都对于存储提出很高的要求。不但要求海量存储，而且对磁盘的可靠性和速度提出了更高的要求。目前网络存储多维双通到结构，每个通道的带宽达4GB，髙速缓存达8GB~16GB。

我们选择HDS AMS 1000存储，该系列存储产品采用最新的模块化阵列系统结构，与HDS USP产品同为HDS TagmaStore家族系列产品。其内部采用内外光纤通路设计、双控制器管理、 高速缓存全部为NV－CACHE与镜像写设计模块化设计以及部件级热拔插设计能够提供24×7的即时数据存取。其主要特点有：

以中端价格，提供高端性能与容量。将服务器内置的存储迁移到可扩展的外部存储上，将多个存储系统整合到一个存储平台，或构建第一个SAN；支持iSCSI和/或光纤通道连接支持NAS连接，支持协作性的文件共享应用将SAN、iSCSI和NAS整合到一个平台中（同时支持任何两种协议）；采用SATA和光纤通道磁盘，容量从几个TB到超过300TB，跨系统提供应用特有的性能、可用性和保护；具有Cache Partition Manager和RAID-6等高级功能，帮助提高性能、可靠性和可用性分区和专用高速缓存可以使大数据流量的应用获得最佳性能。4096个逻辑单元 (LUN)为几乎任何工作量提供卓越的性能；选择SATA/光纤磁盘混插或单一光纤通道磁盘配置，采用最经济的存储解决方案执行任何存储任务。

整合存储，预见增长。进行整合和集中管理以降低成本；SATA和光纤通道混插配置可最大扩展为300TB，光纤通道磁盘配置可扩展为135TB。

符合法规要求，保护数据，减少恢复时间。增强的SATA数据保护提供了无与伦比的数据可用性和可恢复性；RAID-6既确保了高可用性，又保证了RAID组重建灵活性；Hi-Track?“回叫”服务/远程维护工具实现了7×24诊断服务，防止隐患成为故障；完全冗余的热插拔功能可以保证应用运行；系统内卷复制或增量复制可满足频繁的在线备份需求，Hitachi TrueCopy? Remote Replication软件实现了远程复制。

扩展现有的SAN或部署到分层架构中。使用存储管理软件和Hitachi HiCommand? Suite软件来管理和配置系统，通过支持iSCSI连接（AMS1000支持双协议），将SAN延伸到更小的服务器，采用归档和长期防篡改数据保留解决方案，满足监管达标要求，与日立企业级存储系统结合，在分层存储环境中组建完整的数据生命周期管理解决方案。

10

哈尔滨石油学院本科生毕业设计（论文）

到此，集群的硬件部分选择基本完成，图2-2为集群结构示意图： 计算节点 42U机柜42U机柜机柜（16） 管理节点 12 机柜（20） I/O节点 机柜（21、22） 管理网络 计算网络 光纤存储交换机 … 百兆网络交换机 百兆网络交换机 KVM Supervisor 万兆网络交换机 计算网管理网络 接用户局域用户网络 用户网络 工作站 。。。 图2-2

11

哈尔滨石油学院本科生毕业设计（论文）

HDSAMS1000

12