争议这些分布式存储产品谁更胜⼀筹?FusionStorage、XSKY、Ceph、 vSAN。。。
来⾃twt社区同⾏交流,欢迎更多同⾏参与交流
想了解关于FusionStorage、Ceph、vSAN、SmartX等分布式存储产品优劣对⽐,以及未
来的技术演进趋势如何?
FusionStorage在对象存储这块和C系的XSKY的⽐较? FusionStorage与Ceph、vSAN、SmartX的对⽐,包括块、⽂件、对象详细的对⽐?
问题来⾃@csj11341 北明项⽬经理,下⽂来⾃twt社区众多同⾏实践经验分享,欢迎⼤家参与交
流,各抒⼰见。
@刘东东软集团 IT技术咨询顾问:
FusionStorage可以⽀持基于X86服务器的分布式对象存储,⽽XSKY⽀持对象存储的组件叫做
XEOS或者可以使⽤ XEDP统⼀存储组件来做,除了⽀持 X86服务器服务器以外,还⽀持基于
POWER芯⽚的服务器,⽀持更⼴泛,⽣态建设的⽐较好。
1、FusionStorage与Ceph对⽐
块存储⽅⾯:FusionStorage与Ceph在⽀持块存储⽅⾯都⽐较好,⽽且块存储也是 Ceph的主要
⽀持优势, FusionStorage也做了块存储⽀持的加强,毕竟是商业版本,性能优化上⽐较好。⽽
且还通过了Oracle RAC的认证,这个是为数不多的可以⽀持Oracle RAC的分布式块存储,可以
⽀持在分布式存储上更好的部署Oracle 集环境。
⽂件存储⽅⾯:Ceph在⽀持⽂件存储上相对较弱,不直接⽀持 scsi,需要⾃⼰⾃⼰搭建scst或
lio服务端来⽀持 scsi接⼝,⽽且没有⾼可⽤。FusionStorage可以让每个iscsi ⽬标端部署所有的
主机节点上,⽀持虚拟IP地址配置,可实现⾼可⽤对接vmware,winserver和数据库等等。
对象存储⽅⾯:对象存储Ceph是最⼤的⼀个优势,因为它的本质上就是⼀个“对象存储”,其块
和⽂件服务都是基于对象提供的,因此对象的性能上是最优的> ceph 块> ceph ⽂件。
FusionStorage相对 Ceph的优势是除了可以⽀持对象,在分布式块、⽂件、对象存储的融合⽅
⾯做的⽐较好,⽀持功能和性能上⽐较全⾯,在⽣产环境中可靠性也⽐ Ceph更⾼。
2、FusionStorage与 vSAN 对⽐
块存储⽅⾯:FusionStorage⽀持的块存储可以提供给多种虚拟化环境使⽤,除了VMware以
外,还可以⽀持基于VMware ESXi、Microsoft Hyper-V、Citrix 等企业级虚拟化平台的统⼀存储
需求,简化存储基础架构,避免孤岛。⽽ vSAN只能⽤于 VMware⾃⾝的虚拟化环境。
⽂件存储⽅⾯:vSAN ⽂件服务使⽤ vSAN 分布式⽂件系统 (vDFS) 来提供与基于 vSAN 存储策
略的管理功能相集成的可扩展⽂件系统。只能为 VMware虚拟主机提供⽂件服务,⽽
FusionStorage不受限制。
对象存储⽅⾯:vSAN不能直接⽀持对象存储, vSAN更多是为 VMware ESXi主机提供⽂件存
储服务,对象存储需要通过在 VMware 中部署类似 ceph的对象存储软件来⽀持对象存储环境。
FusionStorage虽然也是对象存储软件,但是 FusionStorage 是原⽣⽀持对象服务的,底层是基
于X86物理服务器的。
3、FusionStorage与 SmartX 对⽐
块存储⽅⾯:FusionStorage和SmartX都是商业版分布式存储软件, FusionStorage和 SmartX
⽬前都是⾃主研发的,都⽀持基于X86服务器的分布式存储场景。相对于 FusionStorage分布式
存储软件, SmartX的性价⽐似乎更⾼⼀些。
⽂件和对象存储⽅⾯:SmartX 分布式存储ZBS是⼀种分布式块存储软件,⽆法直接⽀持⽂件和
对象存储服务,可以通过在块存储设备的服务器上部署NAS软件和OBS软件间接提供⽂件存储
和对象存储服务。FusionStorage可以原⽣⽀持⽂件存储和对象存储。
未来的技术演进趋势:
未来技术⼀定是以分布式存储为主、传统阵列为辅的架构,分布式存储的灵活性是传统阵列⽆法取代的,随着分布式存储的性能、可靠性和稳定性的不断提⾼,其各⽅⾯功能都逐渐完善,可以逐步的替代传统阵列,组建⼀个软件定义存储( SDS )的数据中⼼。但是传统阵列仍然有其⾃有的存储场景,会长时间并存。从技术来看,融合存储和统⼀存储是未来技术发展的趋势,⽽且在各个⾏业都会有其细分市场,应对不同的业务场景。
@wenruoyiming ⼭西恒信科技有限公司⽹络⼯程师:
⾸先我觉得有必要区分分布式存储和 SDS 这两个名词的边界。
分布式存储:
分布式存储是架构,如果仅仅讨论分布式存储本⾝, EMC Islion ,华为 N9000 ,D ELL EQL ,这些分布式架构的存储都应该放进来⽐较,这部分有个特点,基于分布式架构,但是存储操作系统出⼚预装好了,⼤部分 SDS 都可能是分布式架构,但是并不是所有分布式存储都能算进SDS ⾥⾯去,⾄少没有⼈认为 Islion 算 SDS。
基于分布式架构的软件定义存储,简称 SDS :
这⾥⾯ C 系的除了 XSKY ,还包括 H3C Onestore 、顶的TDS 、元核、苏州移动研究院⾯向移动系的产品。另外⾮Ceph 系的,包括题⽬中提到的 FusionStorage;但是我认为不包括VSAN (跟Vsphere ⼀起组成了 VXRail )以及 SMARTX、Nutanix 这些严格意义应该划分到HCI 范围的产品。
再来说说楼主提到的 FusionStorage 和XSKY的⽐较问题:
市场端的表现:
华为最早的对象产品是 UDS ,从公有云继承的产品,架构太重,⼀直没怎么卖, 17 年架构推倒重新定义更名为 FusionStorage8.0 对象存储, 19 年开始对外宣传,但是官⽹现在还没有详细的介绍材料。
XSKY ⾮常好的利⽤了其⾃⾝ Ceph 社区的优势,⽤⾃⼰的商业软件帮助⽤户解决 Ceph 环境的问题,同时在推动了对象存储在国内的落地。
技术架构的差异:
华为对象主打⼤数据场景,感觉是⼤数据的⼀个配套,单桶 1000 亿⼩⽂件的⽀持也是其主打的⼀个规格差异。
XSKY 主打⼀个数据平台解决所有问题,对象是其中的⼀个⽅案, XSKY 对象产品主打的场景:海量⼩⽂件、⼤数据、、多数据中⼼等,⽐较突出 NFS&S3 互访问、属性查询等功能。
销售⽅式的差异:
华为喜欢推荐端到端的解决⽅案,上下打通,提供⼀揽⼦的解决⽅案,⽤户相对⽐较省⼼。
XSKY 只是卖纯软件,推荐软硬件解耦的⽅案,相对⽤户的⾃主性⼤⼀些。
@chinesezzqiang 信息技术经理:
FusionStorage和vsan⽐较:
封闭:vSAN只配合vSphere⼀起配置和使⽤,不⽀持其他虚拟化平台。⽽华为的FusionStorage没有限制;
性能:根据测试数据,FusionStorage是vSAN的3倍,IOPS可达130万;
规格:vSAN仅⽀持64个物理节点,Fusionstorage可以⽀持4096个节点。
FusionStorage和ceph⽐较:
属性:FusionStorage属于商业化产品,具备较好的服务⽀持,Ceph为开源产品,服务⽀持差;
性能:相同节点的情况下,FusionStorage性能远⾼于Ceph;
可⽤性:FusionStorage的⾼可⽤解决⽅案成熟度⾼,Ceph的⾼可⽤⽅案需要借助其他软件⽀
持,且存在不稳定性;
阀门保温运维成本:FusionStorage具备成熟、完整的服务⽀持体系,运营成本低。Ceph需要专门的IT团队,运维成本⾼。
FusionStorage和Smartx⽐较:
分合闸电磁铁属性:两者均为成熟的商⽤产品;
性能:企业为部署FusionStorage和Smartx,但是从论坛及其他渠道获悉,FusionStorage的性能略⾼。
@zhuqibs Mcd 软件开发⼯程师:
大灯高度可调FusionStorage和vSAN⽐较:
(1)vsan:在vsphere中使⽤,性能尚可;FusionStorage没有限制
(2)性能⽐较:有报道说,FusionStorage是vsan的3倍
(3)规模⽐较:Fusionstorage可以⽀持4096个节点,⽽vsan只⽀持64个节点。
(4)耦合性:vsan和vsphere紧耦合,可靠性受到影响,⽽FusionStorage没有
FusionStorage和Ceph⽐较:⼀个开源,⼀个商业化,⽽Ceph还不包硬件,这对Ceph很不公平(1)性能⽐较:FusionStorage远远⾼于Ceph
(2)使⽤场景:FusionStorage⽀持所有可以对接iscsi协议的客户端,⽐如windows、vmware、异构虚拟机,数据库等使⽤场景
(3)规模⽐较:Ceph规模也可以上千,但性能更为不佳
(4)可⽤性:Ceph iscsi的⾼可⽤⽅案不佳,FusionStorage可以实现较为完整的⾼可⽤。
FusionStorage和Smartx⽐较:
(1)性能⽐较:FusionStorage较⾼,但基本不相上下
(2)规模⽐较:都可以部署⽅案在上千节点上
(3)耦合性:都是松耦合
@吴桦 SmartX超融合产品经理:
个⼈认为技术没有绝对的好坏,最重要的是⽤户需要对产品和⾃⼰的需求有准确的理解和把握,因为合适的产品才是好的产品。
部署模式:⾸先,如上提到的SmartX分布式存储叫SMTX ZBS,既可以⽀持融合架构的部署(作为超融合软件SMTX OS的⼀部分),也可以以分离架构进⾏部署,⽤户可以灵活选择。分布式块存储作为超融合部署模式会有两个独特的需求,就是存储在⾼性能的同时还要占⽤计算资源少,另⼀⽅⾯,就是超融合独有的数据本地化,SMTX ZBS在这两⽅⾯做的都做的⽐较出⾊;
主打的存储场景:⽆论是超融合部署,还是分离部署,SMTX ZBS都主打块存储,这种存储场景的需求特点是⾼IOPS、低延迟,可靠性要求⾼。不同的存储场景对产品的架构、实现以及优化⽅向是不⼀样的,虽然有⼀些产品可以⽀持多种存储接⼝协议,但很难做到块存储、⽂件存储和对象存储都做好。所以我们会围绕⼀种模式打磨产品。
产品实现⽅式:Ceph以及基于Ceph包装的产品是基于开源代码,产品发展取决于社区⽽不是⼚商,
⽽包括SMTX ZBS在内的其他产品都是商业产品,由于投⼊⼤量开发,单纯的采购成本肯定更⾼,但产品的服务和发展更有保障。
性能:很多⼈都提到了性能的对⽐,但我们认为任何缺乏统⼀的测试⽅法,硬件配置的性能对⽐都是不严谨的,以上有些专家提到与 FusionStorage 产品性能对⽐的情况,因为不知道数据来源,也⽆法认同这样的结论,⽬前⽆论在 POC 测试结果或者实际使⽤,SmartX 分布式存储性能从未在同等硬件条件下逊于 FusionStorage。⽬前可以给⼤家参考的数据是SMTX ZBS在超融合模式下使⽤NVME SSD作为缓存的话单节点4K随机读就可以⾼达20万IOPS了,但这些也
都是要在明确的硬件和测试⽅法的基础上得出的。
@邵国健 XSKY 软件架构设计师:
题主提到的⼏家产品中,XSKY和FusionStorage属于SDS,⽽vSAN和SmartX属于HCI,理论上很难直接对⽐。
从技术架构和产品上,XSKY与上述⼏家产品最⼤的差异是XSKY提供统⼀存储平台XEDP,即⼀套存储系统同时提供块、⽂件和对象存储服务。此外,对于特定的场景,也提供独⽴的产品。
块存储:XSKY⾃主研发的数据⽹关XDC,能够同时⽀持iSCSI, SCSi, FC, RBD等协议,在OpenStac
k场景下能够提供IO聚合功能,同样的配置能⽀持更多虚拟机,同时提供在线升级功能。⽀持VMware VAAI特性,能够⽆缝应⽤于VMware虚拟机化场景。⽀持纳管卷和在线卷迁移,能够提供虚拟机的存储热迁移特性。
对象存储:⽀持单集百亿⼩⽂件规模和对象存储多站点功能,为应⽤提供本地优先读写能⼒;数据分层,⽀持本地存储到外部各种存储的数据流动,⽐如能够⾃动将冷数据归档到云端存储;S3 Console,⾯向S3⽤户的独⽴的图形化界⾯,快捷管理对象存储数据;专为HDFS优化的⾼性能客户端,提供⽐S3a更优的⼤数据存取性能。
⽂件存储:⽀持FTP、SMB、NFS等协议,⽀持本地、AD、LDAP等⽤户管理,⽂件定时快照,⽂件系统克隆、回滚、访问⽇志等功能。
除此以外,也提供数据保护功能,能对块、⽂件和对象存储的数据进⾏复制和备份。
@潘延晟系统⼯程师:
VMware 超融合⽅案⽀持vSphere虚拟化 vSAN分布式存储 vCenter管理模式,每⼀个部分都是付费的模块。
SmartX超融合⽅案架构的⼀个最⼤的差异⾸先来⾃于其既可以⽀持vSphere虚拟化 SmartX 分布式块
存储(ZBS)模式,也⽀持SmartX 免费的虚拟化平台ELF,甚⾄Ctriix的 Xenserver虚拟化。⽽SmartX的ELF是⽆需付费的。其中,SMTX 内嵌的虚拟机服务是免费模块,同
时,SMTX 分布式块存储可以同VMware vSphere、Citrix XenServer 构成超融合⽅案。
VMware vSAN 是 vSphere 原⽣软件定义的存储平台,可帮助客户向超融合基础架构 (HCI) 转变,降低 IT 成本并为未来变⾰准备敏捷解决⽅案。
它的优势主要有:
1)vSAN 与 ESXi 结合紧密,部署⽐较⽅便,和 ESXi ⼀次部署完成;气囊减震器
2)凭借 VMware vSphere 优良⽣态的先天优势,vSAN 推出不少相关的⽣态合作⽅案;
3)vSAN 获得 ESXi 内核级别的⽀持,运⾏效率⾼,能输出不俗的性能。
但同时,vSAN也有⼀些美中不⾜,⽐如:
1)⽆法⽀持多 hypervisor 环境
2)与 ESXi 耦合度⾼且兼容版本有限
3)vSAN 引起 VMware HA 的限制橡胶抛光轮
4)vSAN ⽆法⽀持 MSCS 和 WSFC
SmartX ZBS 来⾃国内超融合⼚商SmartX,基于 VMware vSphere 超融合部署,适⽤度更强,让IT管理更直接、更⾼效。其差异化的优势体现在以下⼏⽅⾯:
1)松耦合,更灵活
螺蛳剪尾机2)不中断,更稳定
@雪落⽆痕欧科:
⾦融⾏业的分布式架构的 SDS 应⽤今天已经⾮常⼴泛了,但是实际上跟 HCI 的应⽤领域是完全不同的差异性,简单介绍下:
SDS 适⽤或者可以涉及的场景:
开发测试( Openstack, 容器, Vmware , Zstack );
内容管理,电⼦影像,双路等等,从 NAS 到对象的趋势⾮常明显;
⼤数据,采⽤基于对象或者⽂件的原⽣或者客户端对接⽅式,代替 HDFS 的重复投资,华为,XSKY , EMC 都有类似的⽅案;
跨站点容灾,同城双活,基于数据⾯的双活⾼可⽤,是 SDS 的强项所在, SDS 四,六副本天然跨站点的优势,延展集不⽤再依赖第三⽅双活软件。
HCI 适⽤或者涉及的场景:
分⽀机构办公
VDI 桌⾯办公
基于 KVM 或者 Vspher 某种形态的开发测试环境,⽆法混⽤
对于⾦融机构, HCI 测试评估进⼊的时间短,进⼊的节点数少,易于⽴项和快速投⼊⽣产,对于业务单元的⽀撑具有天然的优势,但是存算⼀体化天然的,不利于与存算分开扩容,⼤部分场景只⽀持块,⽂件需要通过 Licenses 来⽀持( Nutanix ),⽽对象就更加只能是独⽴的⼀套产品了。
SDS 进⼊⾦融机构的时间较长,需要评估的场景较多,当然,因为适⽤的⾯更⼴,进⼊评估,预研,测试的周期⼤多数⾦融机构超过 6 个⽉,但是数据⾯,资源⾯⾼度弹性和扩展性,让SDS 天然适⽤于
中⼤型⾦融机构, PB 级的数据量,块,⽂件,对象等等的混合应⽤场景,甚⾄⽬前已经可以针对 CDH ⼤数据存算分离的架构,甚⾄绝⼤部分不⽤重新搭建 HDFS 集,极⼤的降低了⾦融机构的整体成本,另外 SDS 本⾝是数据湖建设的关键环节,数据热,温,冷根据时间可以在应⽤层⾯⾃由的流动,也打消了跨机房,跨地市的数据边界,通过桶复制,对象多站点,在 SDS 内部,和 SDS 到第三⽅之间,形成了天然的桥梁。所以在选择 SDS ⽅⾯,研发基础架构基于 SDS 就已经决定了企业未来使⽤数据的边界。
(以上探讨仅为发表者个⼈观点,不代表社区⽴场)