首页 >人工智能 > 内容

【云端储存服务:Pure Storage CBS】云端区块储存服务新选择提供坚实的多重高可用性架构设计

人工智能 2021-02-14 12:02:54

等待了近1年时间后,Pure Storage的云端区块储存服务——Cloud Block Store(CBS),终于在去年底(2019)正式上线。

过去一年多以来,Pure Storage在整合公有云平台方面动作连连,于2018年底宣布了称作「Pure Storage Cloud Data Services」的一系列云端储存服务,而CBS便是其中之一。

CBS是当前兴起中的新类型储存产品——「云端储存阵列」的一员。这种产品的本质,其实就是传统储存阵列厂商将其储存阵列系统移植到公有云上,成为「云端化」储存阵列而成,透过公有云平台来提供储存空间服务。

而CBS便是Pure Storage将旗下的FlashArray全快闪储存阵列,移植到AWS公有云平台上的产品,可在AWS上提供基于iSCSI的区块储存空间服务,目前有10TB、20TB与50TB等3种容量授权可选,并凭藉着与FlashArray储存阵列相同的Purity//FA储存作业系统,具备了Thin Provisioning、压缩与重複资料删除等进阶功能。

目前CBS虽然只支援AWS平台,但依照Pure Storage的规画,日后也将在Azure与Google Cloud上推出相同的服务。

CBS是Pure Storage FlashArray全快闪储存阵列,移植到AWS而成的云端化储存阵列,可在AWS上提供基于Pure Storage储存系统的区块储存服务,并含有完整的资料服务功能。

云端化的储存阵列

公有云服务的盛行已是大势所趋,传统储存阵列厂商面对这个新兴威胁,一个出路便是「打不过他,就加入他」,把自身的储存阵列平台移植到公有云平台上。

公有云服务商虽然自身提供了原生的储存服务,但老牌的储存阵列平台,有着用户熟悉、系统成熟、资料服务功能丰富完整的优点,而移植到公有云以后,不仅保有储存阵列原本的优点,还能兼有云端服务的维运负担轻、按需订购弹性等优点。

以CBS来说,相较于AWS自身原生的两种区块储存服务——执行个体储存空间(Instance Stores),以及EBS(Elastic Block Store),目的同样都是提供区块储存服务,但能提供后两者没有的丰富资料服务功能。

AWS执行个体储存空间,是一种执行个体直连的本地端储存空间,有硬碟、SAS SSD与NVMe SSD等型式,具备低延迟的特点,但组态固定,缺乏弹性,也没有因应磁碟装置故障的冗余能力。

至于EBS储存区,则有着类型选择丰富(有io1、gp2、st1与sc1等4种)、组态弹性(500GB~16TB),以及透过分散複制机制所提供的高可用性,还具备基本的资料服务功能(快照与加密)。

而CBS实际上是建立在前两者的基础上——以EBS的io1储存区作为NVRAM写入缓冲角色,以执行个体本机的NVMe SSD作为读取快取与写入储存区,再结合S3物件储存作为备援的持久储存区,并能透过Pure Storage的ActiveCluster複製功能,跨不同AWS可用区域(AZ)建立异地的高可用性CBS群组,兼具了效能与可靠性。

更重要的是,CBS还能凭藉Pure Storage自身专属的Purity//FA储存平台,提供目前AWS原生储存服务还没有的即时压缩、重複资料删除等资料缩减功能,藉此改善储存空间耗用经济性。

因此CBS这类云端储存阵列产品的问世,也让用户在公有云上的应用,除了使用各公有云自身原生的储存服务外,也多了Pure Storage这些第三方厂商的解决方案,各自基于专属储存平台,提供了公有云储存服务新选择。

独具一格的云端部署架构

如前所述,CBS这类云端储存阵列产品,是将传统储存阵列平台移植到公有云环境而成,从而为公有云上的运算单元,提供基于传统储存阵列平台的储存空间服务。而要实现这样的目的,关键便在于如何让传统储存阵列平台「移植」部署到云端环境,从而化身为公有云上的储存服务。

将储存阵列移植到公有云上的方式,主要分为两种。一种方式为实体部署,也就是在公有云服务商资料中心部署实体储存设备。例如NetApp的Cloud Volumes Service(CVS)、HPE的Cloud Volumes,都属于这种类型。

另一种方式为软体定义部署,也就是利用公有云的执行个体与储存空间,来运行储存阵列系统软体。如NetApp的Cloud Volumes ONTAP(CVO)、Dell EMC的UnityVSA Cloud Edition,以及我们这里介绍的Pure Storage CBS,都属于这种类型。

不过,即使同样属于软体定义部署,但个别产品的实作方式也大相逕庭,而CBS可说是最特别的一种。

NetApp CVO算是软体定义部署式云端储存阵列的标準範本,使用1台云端运算单元来运行NetApp的ONTAP系统,担任储存控制器角色,并挂载公有云的区块储存区来作为储存空间。为了提高可用性,还可将2台CVO组成高可用性群组。

而CBS则动用了AWS的EC2执行个体、执行个体本机储存区、EBS区块储存区,以及S3物件储存区,来扮演储存控制器、写入缓冲、读取快取等角色,每套CBS单元至少需耗用9台或16台执行个体(2台用于控制器,7或14台用于虚拟磁碟)、7个EBS服务的区块磁碟区,与一定容量的S3储存区。

虽然CBS耗用的资源相对较大,成本相对也较高,但藉此在AWS上再现了FlashArray全快闪储存阵列的架构,理应更能保证效能与可用性,以因应Tier1的关键应用储存需求。

灵活的混合云应用方式

CBS这类云端储存阵列,除了能为公有云的储存服务,提供基于第3方储存厂商平台的新选择外,另一个重点是能结合用户的本地端储存设备,构成高度整合的混合云架构。

以CBS来说,便能与用户本地端的FlashArray储存阵列,构成紧密的混合云应用架构。CBS与FlashArray的核心,同样都是基于Purity//FA作业系统,因此可以相互连结,构成异地备援,在储存服务这一层级,直接透过磁碟区的远端複製,在本地端FlashArray与云端的CBS之间,交换或迁移资料。

另外,CBS也能结合Pure Storage的CloudSnap云端快照储存服务,提供经济的混合云应用。用户平时可将本地端FlashArray的资料。透过CloudSnap上传到S3储存空间保存,待需要异地备援时,再订购与启用CBS,然后于CBS上挂载CloudSnap在S3保存的本地端FlashArray快照,便能迅速完成CBS与本地端间的站点资料同步。

 Cloud Block Store的版本与规格 

在AWS环境中运行的CBS云端储存阵列,是以AWS的资源架构而成,分别使用EC2的c5n与i3执行个体,以及EBS的io1区块储存区,来分别扮演储存控制器、Flash储存模组、读取快取,以及NVRAM模组等角色。

Pure Storage提出了两种CBS组成规格——CBS //V10A-R1与CBS //V20A-R1,分别採用不同等级的EC2执行个体与EBS io1储存区。

其中较低阶的CBS //V10A-R1,Pure Storage建议使用2台c5n.9xlarge执行个体来作为储存控制器,搭配作为虚拟磁碟机的7或14台i3.2xlarge执行个体,再加上作为NVRAM的7个60GB EBS io1磁碟区。其中,作为控制器的c5n.9xlarge执行个体,可提供50Gbps的总网路频宽,每个连接埠的频宽为5Gbps,整个系统则可提供13.8TB~15.2TB的可用容量。

至于较高阶的CBS //V20A-R1,控制器是使用2台规格更高的c5n.18xlarge执行个体来担任,搭配作为虚拟磁碟机的7或14台i3.4xlarge执行个体,或是7台i3.8xlarge执行个体,加上作为NVRAM的7个120GB EBS io1磁碟区。其中,作为控制器的c5n.18xlarge执行个体,可提供100Gbps的总网路频宽,每个连接埠的频宽为5Gbps,整个系统能提供55.2TB~60.8TB的可用容量。

CBS使用的执行个体规格

Pure Storage建议用于扮演CBS储存控制器角色的两种执行个体——c5n.9xlarge与c5n.18xlarge,都属于c5n系列运算优化型执行个体,是EC2服务中针对HPC、资料湖等应用,特别强调运算能力与网路传输频宽的执行个体,基于3 GHz的Intel Xeon Platinum 处理器,分别可提供36个与72个vCPU、96GB与192GB记忆体,以及50Gbps与100Gbps传输频宽,可保证CBS的I/O效能,并因应资料删减相关功能带来的运算负荷。

而CBS用于担任虚拟磁碟机角色的3种执行个体——i3.2xlarge、i3.4xlarge与i3.8xlarge,则属于i3系列储存优化执行个体,特别强调本机储存能力,均配置了直连的NVMe SSD,但处理器规格与网路频宽相对较低(10Gbps以下) 。

另外Pure Storage还建议,用户在订购供CBS使用的执行个体时(包含控制器与虚拟磁碟),选用可转换型式的预留执行个体(Convertible Reserve Instance),而非标準预留执行个体(Standard Reserve Instance),以便运用可转换预留执行个体便于变更属性的特性,在日后升级为更高阶的执行个体。

 Cloud Block Store的订阅形式 

如同多数的公有云服务产品,CBS的订购方式,也分为公有云服务商与储存厂商等两个来源。

「Pure as-a-Service」服务是一种混合云的授权,在「Pure Storage ES2」採购项目下,提供了在1年(以上)合约期限内,100TB容量起跳的混合云使用空间授权(云端CBS+本地端FlashArray),用户从这里取得CBS的授权后,再到AWS市集中的「Cloud Block Store - Product Deployment」订阅项目下完成部署。

更单纯的方式,是直接从AWS的市集订阅CBS服务,先在「Cloud Block Store」订阅项目下,购买使用空间授权,然后再到「Cloud Block Store - Product Deployment」项目下完成部署。

AWS提供了4种等级的CBS授权——Small、Medium、Large与按使用量计价的Pay-as-you-go。其中Small等级授权的预留容量上限是10TB,Medium等级是20TB,Large等级为50TB,订阅期限有1个月或12个月两种可选。

比较特别的是Pay-as-you-go授权,适合想要体验CBS的用户,这种模式不需要一次购买定量的空间,头1个月10TB内不收取费用,从第2个月起,再按每单位每GB来计价,订阅期限以1个月为基準。

除了前述4种等级的容量授权费用外,CBS还有基本设定费(Basic Setup)、超过预留容量上限的超量(Overage) 使用费,以及加值服务费(Professional services)等额外费用。

其中,加值服务是一系列帮助用户部署CBS的谘询与协助服务,包含初期的需求评估、部署前準备、部署作业执行、部署后作业等服务,同时,又分为基本加值服务(Basic Professional services),以及进阶加值服务(Advanced Professional services),而前述的基本设定(Basic Setup)费用所对应的部份,就等于这里所提及的基本加值服务。

Cloud Block Store 的採购模式

用户可透过Pure Storage的「Pure as-a-Service」服务,或直接从AWS市集订阅CBS的授权,前者可提供较长的订阅期限(1~3年),后者则提供较灵活的按月订阅与1年期订阅。图片来源/Pure Storage

Cloud Block Store 的採购层级

CBS的授权以容量作为层级区分基準,分为Small(10TB)、Medium(20TB)与Large(50TB),再加上按使用量计价的Pay-as-you-go等4种层级。图片来源/AWS

 Cloud Block Store系统管理与软体功能 

由于CBS是FlashArray储存阵列移植AWS的「云端化」版本,核心相同,所以,系统管理方式与软体功能,基本上,也是与Pure Storage自家的FlashArray储存阵列相同。

在系统管理方面,如同本地端的FlashArray储存阵列,CBS也是透过自身内含的网页控制台,来进行基本的监控与设定作业,管理介面与FlashArray完全一致。除此之外,用户还能利用Pure Storage的Pure 1云端AI管理平台来管理CBS,包括从云端集中监控CBS的运行,以及使用Pure 1的效能分析、资源耗用预测等功能,来检核与预估CBS系统的使用情况。

在软体方面,CBS运行的是FlashArray的作业系统Purity//FA的修改版本,仅有核心的部份稍微不同,同时,也拥有FlashArray几乎全部的软体功能,只有下列2项不提供——Purity//RUN与Windows File Services(WFS)。

其中的Purity//RUN是一项轻量的虚拟化功能,可以透过Container或VM的形式,使用部份控制器处理器与记忆体资源来执行用户需要的应用功能。而WFS则是架构在Purity//RUN上的服务,可以运行CIFS/SMB与NFS等档案服务,让FlashArray扮演NAS的角色。

由于目前Pure Storage将CBS定位于专门提供区块储存服务(从产品名称即清楚表明),因而不提供前述两项附加功能。

CBS的网页控制台

如同本地端的FlashArray储存阵列,云端上的CBS也提供了相同的网页式控制台,管理者可藉此执行基本的系统管理与设定工作,包括磁碟区设定、磁碟区挂载、系统运行监控等基本管理功能,以及快照、远端複製等进阶资料服务功能,无论操作介面还是操作方式,都与FlashArray储存阵列的网页控制台一致。

透过Pure 1云端平台管理CBS

用户也能透过Pure Storage的Pure 1云端AI管理平台,从远端监控CBS的运行,并使用效能分析、资源耗用预测等功能。图片来源/Pure Storage

 Cloud Block Store的运作架构 

我们可将CBS这款产品,视为Pure Storage将FlashArray快闪储存阵列,移植到AWS平台的「云端化」版本。

FlashArray储存阵列的软体,是以Pure Storage专属的Purity//FA储存作业系统为核心;硬体部份,则由内含控制器、NVRAM与Flash储存模组的Base机箱,加上外接的扩充储存柜组成。每台FlashArray储存阵列,含有这4种主要元件:

● 控制器:负责运行Purity//FA储存作业系统,以及提供前、后端I/O介面,每台Base机箱含有2组控制器,构成Active—Standby的高可用性架构。

● NVRAM模组:NVRAM模组由DRAM、备份用Flash模组与供电用的超级电容组成,目的是为写入I/O提供一个高效能、且能预防断电的缓冲储存区。每台Base机箱最多可以安装4组NVRAM模组,并且以互为备援的方式,透过NVMe介面两两配置给2组控制器使用。

● 读取快取记忆体:FlashArray阵列的读取快取记忆体可分为两种——控制器内含的DRAM,以及控制器外的DMM模组。受限于容量与成本,控制器内含的DRAM,主要用于metadata的读取快取,至于一般资料的读取I/O,则主要是直接从底层的Flash储存模组来读取,因此也导致较大的延迟。

不过,Pure Storage在2019年9月,推出基于Intel Optane储存级记忆体的DMM模组(DirectMemory Modules),专用于读取I/O的快取,安装在Flash模组磁碟槽中,配置给控制器使用,藉此可让读取延迟获得5倍的改善,但目前只有少数FlashArray//X系列支援DMM模组。

● Flash储存模组:包括SAS介面的SSD,或NVMe介面的DFM模组(DirectFlash Modules)两种,以10个模组的10 module pack为基本单位。

而到了CBS,Pure Storage为了在AWS环境,「重现」FlashArray储存阵列的架构及系统功能,使用AWS EC2、EBS与S3的资源,组成CBS的「控制器」与「虚拟磁碟机」等2种元件,进而扮演储存控制器、NVRAM、读取快取与Flash储存模组等角色。

CBS的控制器

CBS使用2台AWS EC2 c5n执行个体,来担任FlashArray储存阵列的两组控制器角色。每台c5n拥有总频宽50Gbps或100Gbps的网路介面,可兼用于系统管理或iSCSI传输连接。

CBS的虚拟磁碟

CBS使用独立的AWS EC2的i3执行个体,以此构成了称作「虚拟磁碟机(Virtual Drive)」的储存单元,并同时扮演了Flash储存模组、NVRAM模组与读取快取记忆体等3个角色,这种充当虚拟磁碟机的i3执行个体,后端都挂载了3种储存装置:

(1)i3执行个体内含直连的1~3台NVMe SSD本机磁碟。

(2)EBS区块储存服务挂载的io1磁碟区。

(3)S3物件储存区(标準型)。

i3执行个体直连的NVMe SSD,拥有低延迟与高频宽,被CBS用于读取快取记忆体,以及写入资料的储存区等两种角色。不过,这属于没有冗余能力的Instance Store空间,可靠性不足,对于读取快取角色来说,即使失效,也只会损及读取效能而已,但若做为资料写入储存区,一旦失效,便会影响资料的完整性。因此,CBS为虚拟磁碟提供多重冗余的保护。

至于用于承接写入I/O的NVRAM角色,CBS使用EBS区块储存服务的io1储存区来承担。io1是EBS的高效能型SSD储存服务,拥有EBS的高可用性架构,足以扛起NVRAM的重责大任。

而S3物件储存空间,则被CBS用作资料写入资料的备援用保存区。当虚拟磁碟正常运作时,所有读写I/O都是在虚拟磁碟这一层级完成,但若虚拟磁碟完全失效,用户可从S3储存区取回资料。S3的低成本与极高耐久性,十分适合作为持久储存区使用。而且S3是独立的空间,即使CBS控制器与虚拟磁碟完全失效,也不会影响S3储存区资料,提供了最后一层的保障。

CBS的运作与保护机制

运作时,作为虚拟磁碟机的i3执行个体,分别透过EBS io1储存区与本机NVMe SSD,扮演写入缓冲与读取快取角色,写入资料则由NVMe SSD保存,同时虚拟磁碟还会将写入资料複製一份,送到最后端的S3物件储存区,作为备援保存之用。

为了提高整个架构的可用性,CBS各个环节都採用了多重配置。在储存控制器层级,採用双控制器组态,单一控制器失效不会影响CBS服务;在虚拟磁碟机层级,CBS基本组态使用7台i3执行个体,也就是7台虚拟磁碟机,构成具备失效冗余能力的虚拟储存柜(Virtual Shelf),在作为控制器的c5n执行个体管理下,任何担任虚拟磁碟机的i3执行个体失效,可由群组中其他i3执行个体备援,而整个群组的冗余能力,可容许2台虚拟磁碟机(i3执行个体)失效。CBS最大能组成含有14台虚拟磁碟机的储存群组,但其中只有前7台虚拟磁碟机,会挂载作为NVRAM的io1储存区。

更进一步,即使有3台以上的虚拟磁碟失效,导致CBS服务终止,用户也还能从后端的S3储存区取回资料。

如果用户需要更高的可用性,还可在两个以上AZ服务区建立CBS,再利用ActiveCluster功能同步资料,达到两地双中心的高可用性架构。同时,他们也可透过非同步複製,将第二地AZ作为异地备援中心。

Cloud Block Store vs. FlashArray储存阵列架构对照

CBS使用了AWS的EC2、EBS与S3等云端服务资源,于AWS环境「重构」出FlashArray全快闪储存阵列的架构与功能。首先,由2台EC2的c5n执行个体,扮演FlashArray阵列的双控制器角色;接着,以EC2 i3执行个体构成虚拟磁碟机(Virtual Drive),由7台虚拟磁碟机组成具备冗余能力的虚拟储存柜(Virtual Shelf),可容许2台虚拟磁碟失效。而这些虚拟磁碟机单元还连接了EBS io1储存区与本机NVMe SSD,分别用于NVRAM写入缓冲区、读取快取记忆体与资料写入储存区。

 

产品资讯[规格与售价时有异动,正确资讯请洽厂商]

Pure Storage CBS

●原厂:Pure Storage

●建议售价:Small级(10TB,每月1800美元,每年18000美元),Medium级(20TB,每月3000美元,每年30000美元),Large级(50TB,每月6000美元,每年60000美元),Pay-as-you-go(首月10TB内免费,自第2个月起,每单元、每月、每GB 0.2美元)

●适用平台:AWS

●支援传输协定:iSCSI

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。