您需要知道的关于对象存储如cleversafe的N个经典问题!

 

您需要知道的关于对象存储如cleversafe的N个经典问题!...



随着新兴互联网业务的快速发展,金融行业的数据量大幅增长,同时对数据价值和数据中心的要求越来越高。因此将海量数据根据重要程度及性能要求分类选择不同的存储形式,才能提升系统整体性能,降低总成本。

对于百T以上的非结构化数据存储,新兴对象存储技术显示出了其极大的优势,而Cleversafe作为全球市场第一(数据来自IDC)的对象存储解决方案,很多用户都期待能揭开它神秘的面纱。在近期的《对象存储在医疗以及生命科学行业的应用》线上交流活动中,众多用户向IBM资深存储专家提出了关于对象存储及cleversafe的疑问。小编精选了几个问答,供大家参考!

1
对象存储系统的与传统存储的比较?

maxuejie  产品经理   IBM:

传统存储,我想您指的是基于SAN架构的存储方式。一般在存储数据的组织和存放形式上,分为块存储,文件存储和对象存储。对象存储的对数据的组织和存放形式,像平铺结构一样,适用于海量非结构化或半结构化数据的保存和使用。像我们平时见到的各类大型网盘或大型企业网盘,都是基于对象存储来搭建的。
2
面对不同类型的数据,怎样进行存储扩容并提高数据调取速度?

ZhuJun2014  存储工程师  IBM:

首先,这里要考虑一个整体架构的问题。在一个企业内,到底是需要统一存储呢,还是把block和File以及对象存储分开呢?

过去的经验看,统一存储是简化了管理,但要么是File功能强,block性能弱,要么就是block性能还ok,file性能弱。两者完美结合的很少。

如果采用分开部署模式,那么块存储给核心应用使用,可以使用现有的闪存技术。File存储,或者大量的非结构化数据,可以存放在NAS或者对象存储上。扩容时,总会考虑扩容后的性能是否均衡。如果非结构化数据的访问频率是相对平均的,那么要求每个存放存储的性能都要做到对等,才能提供足够好的访问性能。如果只是最近保存的数据访问度高,那么利用分层技术实现中低配合,也是相对理想化的。

不管是block还是File存储,如果只是在一个存储内扩容,那么做到性能均衡话,需要靠上层软件。或者,引入虚拟化层在中间,新扩容的数据在内部自动打散,确保性能比较均衡。

对于大量医院图片类的需求,我们有看到用户购买XIV这种网格存储来存放。XIV的零管理特性和数据全部均衡打散,容量又很大的特点(300-500T),很适合这种场景。由于XIV的数据天生就打散到每个磁盘上,扩容后也会自动重新打散,非常适合不需要专业存储人员的场合。
3
有哪些业务和场景最适合采用Cleversafe对象存储和Flash存储?

zerozheng  软件架构设计师  IBM:

Flash所使用的场景主要是,高性能运算,高并发的应用,比如有些在线的,需要立刻获得计算结构的分析平台等。

而Cleversafe的特长在于无限扩容,性价比高,在线可用可靠。因此,比较适合病人信息的长期保存,以及日常并不需要超低延时访问,医生看诊场景的文件读取。
4
Cleversafe里纠删码是什么?它是如何保证Cleversafe同时满足经济型、安全性、扩展性和可用可靠性的?

zerozheng  软件架构设计师   IBM:

纠删码的技术实际上60年代就已经在使用了,是通过算法的方式来避免做副本,但是也具备非常高的可用性。

简单举个例子,加入Cleversafe的IDA是2/3,意味着我可以丢掉一个切片,数据依然可读,那么实际通过纠删码运算过之后的公式为(a和b为实际原数据):

5a+3b = 切片1

8a-7b = 切片2

2a+10b = 切片3

每个切片本身的值是可得的,因此,根据我们数学的求解公式,需要n个公式来求解n个未知数。因此,我只需要两个切片即可反算我原数据ab的值,从而获得我原对象文件。

2/3只是一个帮助理解的最小例子,其他专家举例的7/12也是类似的原理。而Cleversafe是业界唯一一家厂商可以配置此纠删码,因此,在经济性和可用可靠性,可以根据客户的实际情况来定制了。

总结一下您提出的几个特性如何满足的问题:

1、经济性:传统存储通常需要做副本来获得可靠性,因此冗余至少是2倍,但是Cleversafe只是在切片运算上额外根据配置有冗余的部分,大大小于做副本的方式

2、安全性:我们前面说的每个切片数据,实际上是乱码不可读的,如果没有Cleversafe纠删码的算法的话,是没有办法知道原数据的倍数关系的,因此,获取切片数据也无意义

3、扩展性:Cleversafe以纠删码为技术原型,同时,结合自研的信息离散算法(IDA)可以异地分发所有的切片。同时,在访问节点,通过HTTP的方式,是能够知晓每一台访问节点的,因此,访问节点之间是解耦不需要通讯的,所以可以做到在线扩容。其次,存储节点之间,当宽度一定时,每一次扩容就是一个存储集的扩容,不同存储集由逻辑上统一的存储池来管理,从而扩展使用空间。

4、可用可靠性:这正是Cleversafe的强项所在,对比传统存储,因为IDA的算法,从而无需副本、RAID方式,就能够在配置合理的情况下,有对应40%的节点失效,然而也不会影响业务系统的正常工作。同时,IDA native的可以做到纠删码算法后的切片能够分发到异地,因此Cleversafe如果在部署DC允许的情况下,不需要做任何数据同步备份即可基本容灾特性。
5
Cleversafe对象存储是否有利于灾备系统的建设?

zerozheng  软件架构设计师  IBM:

这正是Cleversafe的强项所在,对比传统存储,因为IDA的算法,从而无需副本、RAID方式,就能够在配置合理的情况下,有对应40%的节点失效,这40%的节点数会大于我一个站点所包含的节点,这样的失效场景也不会影响业务系统的正常工作。同时,IDA native的可以做到纠删码算法后的切片能够分发到异地,因此Cleversafe如果多站点的部署情况下,不需要做任何数据同步备份即可基本容灾特性。
6
Cleversafe的高可用性是如何实现的?

zerozheng  软件架构设计师  IBM:

结合前面说的纠删码,如果我的切片数是12,而原数据是7,因此,我可以允许有5片切片数据丢失,因而12节点宽度的部署,三站点模式,每站点4节点,因此,这样的一套系统天生就具备了容灾特性,从而不需要做副本,同步,备份等。
7
如何为 1 PB 可用数据构建高度可靠的存储系统,Cleversafe的经济性如何体现?

maxuejie  产品经理  IBM:

PB的可用数据,使用Cleversafe常用的7:12 IDA算法进行数据切片和存储,那需要1.71PB的裸容量。如果使用传统的Raid和数据3副本技术,需要3.6PB的裸容量。经济性显而易见。

点击“阅读原文”,直达活动现场了解更多内容!


    关注 存储架构师社区


微信扫一扫关注公众号

0 个评论

要回复文章请先登录注册