Lustre 部署建议

Lustre并行文件系统部署建议

Lustre文件系统介绍

高性能的计算始终是以数据为核心，快速有效的数据处理不但需要优秀的算法，高性能的计算节点，同时为众多计算节点提供高性能的数据加载、共享和保存也是非常关键的。在高性能计算应用中，实现高性能的数据共享访问通常使用并行文件系统，在高性能计算领域中Lustre并行文件系统被公认是性能非常优秀，扩展能力极好的高性能计算文件系统之一。

下图是Lustre并行文件系统的组成结构：

从图中可以看出，Lustre文件系统主要由三个组件组成：Lustre客户端，元数据服务器（MDS）和对象存储服务器（OSS）。

Lustre客户端是文件系统中数据的创建、使用和维护者。Lustre文件系统提供两种客户端访问方式：Native客户端和网络文件服务客户端。Native客户端使用Lustre文件系统特殊的数据访问协议，需要为每个文件系统客户端安装专门的客户端软件。现在Lustre文件系统提供运行在各种Linux操作系统的Native客户端软件，未来还将支持多种其它的操作系统。Lustre特殊的数据访问协议可以同时通过多种网络基础设施传输，尤其在InfiniBand网络环境下可以直接通过底层RDMA协议，不但具有极高的带宽，极低的数据延迟，也可以大大降低文件系统客户端和服务器的额外处理负担。Native客户端可以实现Lustre文件系统最高的并行访问效率，在计算存储环境部署时无一例外都采用此种方式。Luster文件系统同时支持NFS和pCIFS网络文件访问协议，作为标准的网络文件访问标准，可以得到众多的客户端操作系统的支持。网络文件协议客户端无需额外安装任何软件组件，不但简化了部署也扩大了文件系统的服务范围。

Lustre文件系统采用先进的对象存储技术管理文件数据。独立的元数据服务器（MDS）负责文件系统数据对象的命名以及元数据管理服务；对象存储服务器（OSS）管理物理的存储设备，将它们划分成多个对象存储目标（OST），并实现数据对象和存储设备的接口。访问时，Lustre客户端向元数据服务器发出元数据请求，元数据服务器将包含对象存储目标信息的元数据返回给客户端，然后客户端直接请求管理对象存储目标的对象存储服务器，完成数据对象操作。

Lustre文件系统将数据请求、元数据管理和存储设备管理功能分布在多组不同的服务器节点上，实现了各种访问通道的独立，不但实现了数据操作的并行执行也保证系统优秀的扩展能力。客户端、元数据服务器和对象存储服务器可以通过多种、混和的网络环境连接在一起，实现极高的数据访问性能。

Lustre文件系统是完全开放源码的项目，用户无需支付任何软件购买费用。通过购并Lustre文件系统商业化产品研发公司CFS，Sun公司拥有了Lustre文件系统知识产权和全球研发／支持队伍，在中国也拥有几十名研发工程师。通过Sun公司更广泛的服务和支持队伍可以更好地帮助客户在他们的高性能计算集群中实施Lustre文件系统。因此，用户可以放心使用Lustre并行文件系统作为计算环境数据网格的高性能存储网格数据服务的基础。

高性能计算存储系统需求分析

根据对高性能应用的分析，为了实现平衡的高性能计算，需要提供高性能的共享存储环境满足众多计算节点并行存取数据的要求。

根据前面章节的分析，参与计算的数据主要分为短生命周期数据和长生命周期数据两类。短生命周期周期数据主要是计算过程生成的中间结果数据，长生命周期数据是计算的原始数据和计算结果数据。不同类型的数据对服务品质的要求大相径庭：计算中间结果数据生命周期很短，使用后就可以清除，不过中间结果数据存取更为频繁，容量也比原始数据和结果数据大很多，因此更看重数据带宽和存储容量。 原始数据和最终结果数据比中间结果数据保存时间更长，不过存取相对频率低，因此数据带宽略低于中间结果，但可靠性要求更高。因此，建议将整个计算存储空间至少划分成两个不同的文件系统实例：计算文件系统和数据文件系统，保存不同类型的数据。

集群的计算节点规模达到160个计算节点，理论计算能力可以达到10TFlops，建议计算文件系统的容量达到160TB，采用single bit error-corretction数据恢复策略，理论数据带宽5GB/s – 10GB/s。数据文件系统在集群建设初期容量为40TB，采用double bit error-correction恢复策略，理论数据带宽2GB/s。每个文件系统实例采用独立的存储设备。

高性能计算存储系统部署建议

Lustre并行文件系统包括元数据服务和对象存储服务两个环境，下面介绍如何实现这两个环境的部署建议：

 元数据服务环境

元数据服务环境的功能组件是元数据服务器和元数据信息存储：元数据服务器接收和处理客户端的元数据请求；元数据信息存储是存储设备，保存元数据信息。

元数据服务环境的首要设计目标是实现很高的可靠性。当前版本的Lustre文件系统通过双机热备方式实现元数据服务的高可靠运行，建议计算文件系统和数据文件系统分别配置两台元数据服务器。元数据信息存储通过数据冗余策略保证，建议文件系统的元数据信息存储目的地（MDT）使用不低于Mirror的数据冗余策略实现元数据信息高可靠性。

元数据服务环境的另一个设计目标是实现多客户段节点并发访问情况下很高的处理性能。Lustre文件系统的软件组件可以实现很好的垂直扩展能力，服务节点具有越多的计算资源可以实现越好的性能。为了满足集群160个计算节点以及未来扩展的要求，要求每个元数据服务器配置16个或者更多的高性能处理核心，每核心2GB以上的内存，不少于5个可用的PCI-E x8以上的I/O接口。

Lustre文件系统元数据服务性能的另一个重要影响因素是元数据存储的性能，要求使用具有较高IOPS指标和Random Access性能的存储设备，计算文件系统的IOPS指标建议不低于600,000，可用容量不低于2TB；数据文件系统的IOPS指标建议不低于200,000，可用容量不低于1TB。如果条件允许，建议使用SSD存储设备。

 对象存储服务环境

对象存储服务环境的功能组件是对象存储服务器和对象存储设备。对象存储服务器接收和处理客户端的数据对象请求；对象存储设备保存Lustre文件系统的数据对象。对象存储服务环境的主要设计目标是实现更高的可靠性，更高的聚合数据带宽以及更平衡的数据带宽和数据容量的扩展能力。

传统的对象存储服务环境采用I/O节点配合FC SAN存储环境。采用这种方案时，建议的部署要求如下表：

此种部署方案的优点是：通过共享的存储设备可以方便实现很高的RAS，不存在单点故障；不过购买和扩展成本较高，占用空间多，另外增加的SAN网络环境增加了额外的管理复杂度。

为了解决传统部署方式的问题，Sun公司从系统的角度设计出了新型的面向大规模计算存储的方案。在软件方面，新版本的Lustre文件系统会加入一个非常重要的功能：网络RAID。这个特性允许多个对象存储服务器无需共享存储设备实现文件系统数据对象的高可靠性；在硬件方面，Sun公司创新的设计了Sun Fire X4540数据服务器。

Sun Fire X4540数据服务器不但具有通用计算资源和I/O扩展能力：配置2个AMD Opteron 2356四核处理器，最大64GB DDR-II内存，3个PCI-E x8扩展插槽。它同时还具有高密度的数据存储能力：在4RU高的机箱空间内部署了48块可热插拔的容量为250GB/500GB/1TB的SATA硬盘。Sun Fire X4540数据服务器结合了对象存储服务器和对象存储设备，可以在一个设备上实现完整的Lustre文件系统对象存储服务环境。Sun Fire X4540数据服务器通过两个AMD处理器的Hyper-Transport总线直接驱动主板上的6个8端口SATA控制器，实现磁盘到内存4GB/s，到网络2GB/s的数据带宽。下表列出使用Sun Fire X4540数据服务器同样实现计算存储系统要求的配置：

此种部署方案的优点是：大大降低系统建造、维护和扩展成本，省去FC SAN环境也降低了系统复杂度，系统性能也更优秀；唯一的不足是计算文件系统出现单点故障，不过可以结合应用或集群管理软件的Check-point功能实现计算过程的快速恢复。

本文来源：https://www.2haoxitong.net/k/doc/2f445169af1ffc4ffe47ac7a.html