伴随着云计算(Cloud Computing)技术的逐步发展,用户正在透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传,从而实现在数秒之内,处理数以千万计甚至亿计的信息,达到和”超级计算机”同样强大的网络服务能力。与此同时,与云计算技术相配合的云存储技术也在日益成熟,通过集群应用、网格技术或分布式文件系统等功能,用户完全可以将网络中大量各种不同类型的存储设备通过云存储软件集合起来协同工作,获得统一的数据存储和业务访问服务功能。云存储技术的发展正在被越来越多的厂商和用户所关注,正在成为存储技术发展的重要方向之一,可以预见在不久的将来云存储完全可能成为存储领域中的全新技术增长点,甚至是存储技术发展的新方向。
火星云存储文件系统是一款针对海量数据存储应用而设计的大规模开放架构并行集群存储文件系统软件,依托开放架构的硬件设备作为基本的构建单元,为应用提供全局统一的系统映像和完全POSIX兼容的API接口。该软件实现存储设备的全局统一共享访问、吞吐性能聚合、防止单点故障等功能,是解决卫星遥感、石油物探、媒体影视、三维动画、医疗影像、安防监控等领域中超算中心、数据中心和云计算技术的核心存储技术。
火星云存储文件系统软件采用了完全自主研发的全系统规模数据高可用技术,彻底消除存储系统中的单点故障,结合特有的自动故障探测和快速故障恢复技术,确保用户的应用持续稳定地运行;火星云存储文件系统能够为用户提供PB级的存储容量,并根据用户应用发展的趋势,适时按需进行在线动态扩展;世界领先的元数据服务器集群技术消除了现有存储系统中所存在的单目录下文件数量、小文件处理速度等诸多限制,提供了近乎无限的文件存储数量和极高的文件检索速度,是业界唯一一款能够高效支持千万级大目录的存储系统(单目录下可轻松创建千万数量级的文件,单一文件系统可以存储超过百亿级别的文件和目录,并能对文件进行高速随机检索)。
火星云存储文件系统软件广泛支持各种符合工业标准的存储硬件设备,包括各种采用FC、SAS、iSCSI、InfiniBand接口的磁盘阵列产品,并且可以通过与火星海量数据归档存储中间件(Mars Storage Platform)软件配合支持多种磁带库和虚拟磁带库产品,从而为用户创建更加完备更加多样的云存储环境提供必要的保障。
火星云存储文件系统软件主要由应用服务器集群、元数据服务器集群、云节点服务器集群三大部分组成。
客户端应用服务器集群: 运行客户应用程序的集群,进行特定的计算、信息处理及业务服务等。元数据服务器集群: 管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等),
管理整个存储系统的命名空间,对外提供单一的系统映像。
云节点服务器集群: 存储用户的实际数据,是整个火星云存储文件系统软件的存储资源提供者。
• 海量存储: 火星云存储文件系统软件可提供PB 级的存储空间,高效的管理上百亿个文件,单目录可以有效支持千万级的文件数量。
• 数据共享: 采用全局命名空间,所有应用服务器看到一致视图,方便用户数据的统一管理,并简化应用系统的开发。
• 高性能: 火星云存储文件系统软件高效数据读写技术和文件查询技术能够提供高达几十个GB的稳定聚合带宽以及每秒数十万个的文件查询效率。
• 高可用: 独有的自动故障探测和高效的自动恢复和容错技术,保证了系统的高可用特性。
• 易扩展: 火星云存储文件系统软件提供了在线扩容功能,无需中断业务运行,同时系统的总体IO带宽随着规模的扩大成线性增长。
• 多数据通路: 火星云存储文件系统软件可以同时使用多条高速数据通道,可消除网络层的单点故障,进一步提高系统的高可用性。
• 易管理: 火星云存储文件系统软件配有简单易用的图形化管理和监控界面,支持通过专用的安全通道进行远程配置和全系统监控。
• 低成本: 无需专用存储硬件,利用开放协议通用硬件构建,大大的降低了存储系统的拥有成本。
• 通用性: 遵循POSIX标准的文件级API接口,提供完全标准的文件系统锁。
• 在线升级: 提供简单灵活的在线升级功能,极大提高了系统的稳定性。
基本模块
元数据服务器
元数据服务器是整个存储系统的中心,管理整个存储系统的名字空间,管理文件系统的元数据(包括文件目录树组织、属性维护、文件操作日志记录、授权访问等),为前端应用服务器集群提供全局一致的文件系统映像。元数据服务器可以两两配对,互相备份,一旦某元数据服务器出现故障,将由另一台自动接管故障元数据服务器的服务,当故障元数据服务器恢复后,可以将由它主管的服务从另一台上切回来。
云节点服务器
云节点服务器存储用户的实际数据,即磁盘阵列存储设备,是整个火星云存储文件系统的存储资源提供者。云节点服务器具有十分灵活的在线扩展能力。对于新加入的云节点服务器,只要运行其中的存储容量动态均衡模块软件,就可以自动地将数据向新设备迁移以实现全局数据平均分布和服务平衡分担,整个过程无需人工干预。用户完全可以按需购买相应的容量,而且随着存储规模的扩充,存储容量越大,系统性能越高。
客户端
客户端即运行客户应用程序的机器,可以是进行特定的计算、信息处理及业务服务等服务器。
扩展模块
存储容量动态均衡选件
现有的诸多存储系统一般都不具备存储容量动态扩展的能力,而且经过动态扩展之后如果没有数据动态负载均衡的功能,即使存储系统的容量增长,性能不会随之增长。
MCFS存储容量动态均衡选件是专门针对存储扩展性需求较高的应用环境而提供。当存储系统按需在线动态扩展容量之后,管理员可以选择在合适的时间启动或者停止负载均衡软件,该功能将数据在云节点服务器之间迁移,直到数据分布较为均衡停止。通过存储容量动态均衡软件的数据迁移工作,火星云存储文件系统软件的性能能够随着容量的增长而线性增长。
跨云节点服务器数据冗余选件
跨云节点服务器数据冗余选件是一种高效的数据保护方式,通过将数据同时存放到不同的云节点服务器上来对数据进行保护,不但消除了单点故障,还能够提高数据并发访问性能。
用户可以将指定的数据设置相应的副本数量,副本存放在不同的服务器上将确保出现云节点服务器宕机时数据不会丢失,也不会出现服务中断的现象。而且当副本数量越多时,业务对数据进行访问时将会不同的访问请求分发到不同的数据副本上,达到负载均衡的效果以帮助业务提供数据访问性能。
跨云节点服务器数据自动恢复选件
跨云节点服务器数据自动恢复选件具有一整套完整的故障恢复流程,该软件将会自动的探测集群存储系统内的各类可能出现的故障,如磁盘损坏、系统宕机、网络中断等各类数据中心常见的故障。集群存储系统内一旦发现了该类故障,该软件就会立刻启动相应的故障处理恢复流程对数据进行相应的恢复保护,确保数据的完整性,并且整个恢复过程完全不影响业务连续运行。而且由于跨云节点服务器数据自动恢复软件能够提供的是整个集群全局的数据恢复,充分的利用了集群内的空闲资源进行相应的处理,能够提供高出RAID技术五倍的数据恢复速度,能够最大程度的确保数据完整性,为业务长期稳定运行打下基础。
超大文件数支持选件
传统的存储方案(如NAS)都存在着文件数量、单目录下文件数量等诸多限制,并且当存储系统内文件数量到达一定数量时,文件的检索效率就会急剧下降,从而影响了业务的运行效率。
MCFS的超大文件数支持选件打破了存储系统在面向海量小文件时的种种限制,提供了几乎无限的单目录文件数量支持、高效的文件检索效率支持,帮助企业解决海量小文件存储带来的烦恼。