NVMe势不可挡,优质人才加速释放平凡数据的不凡潜力

 

存储与华为的那些事...

文 | 懂懂   编辑 | 秦言

来源:懂懂笔记

数据,数字时代的黄金。

人类在经历了机械化、电气化和自动化时代之后,终将迎来了第四次工业革命,开始了加速进入智能世界的历程。数据信息的利用已经渗透到我们日常生活的方方面面,商家会根据消费者的个人数据推销其喜欢的产品,教育机构可以根据学生的学习数据制定教学计划,政府根据经济数据制定产业发展规划。

在诺兰导演的美剧《西部世界》中,甚至可以利用一个人的性格、欲望、理想等各方面心理数据复制人的“灵魂”,让人永生。

在此之前,社会最宝贵的资源是石油,在未来,数据是社会最宝贵的资源,而比数据本身更重要的,是数据的价值释放。

在谈数据价值的释放前,我们的得先来谈谈“存储”。
存储格局的变迁
华为一直耕耘存储领域,在存储技术研发上投入了大量资源,之前百万年薪聘请的“天才少年”——华中科技大学计算机专业毕业的博士生,就进入华为存储相关研究岗位工作。

华为预测,到2025年,全球年存储数据量将高达180ZB。这种前景让IT产业近二十年来虽然几多浮沉,但身处其中的存储行业却一直都是朝阳产业,同时也让存储行业成为诸多IT厂商的兵家必争之地………

充分竞争所带来的后果,必然是迅猛的技术创新。有了数据,就必然需要相应的存储介质,这种技术创新也渗透进了存储介质领域。

近年来,基于闪存的固态硬盘因为数据保护不受电源控制,能适应于各种环境等优点,而变得越来越流行,这仿佛为数据存储修通了一条高质量公路。有了这条高质量公路,相应地就需要高速公路的运营规则让它成为高速公路,而唯快不破的NVMe恰好就是这样一种优秀的高速公路运营规则。

2010年,NVMe最初作为一种硬盘接口协议,简化传统SCSI协议,充分发挥SSD介质颗粒的性能,释放存储系统的巨大潜力。随着NVMe硬盘接口协议的发展,人们开始考虑将NVMe发展到存储网络领域,进一步释放存储与计算之外的性能潜力。
从存储行业进入到SSD(固态硬盘)时代以来,华为就一直是行业的技术领导者。自2005发布第一代自研SSD盘以来,华为目前已成为业界领先的存储厂商。同时,华为还是目前存储行业内拥有SSD盘片级专利最多的厂家之一。

传统意义上,存储领域一直是国外存储巨头公司较力的舞台,但固态硬盘,特别是NVMe的流行,由于华为在NVMe技术上耕耘多年,使华为“后发先至”,走向行业引领地位。
NVMe为何这样红


由于云计算、5G等新技术的发展,企业对数据实时性价值的追求越来越迫切,这必然要求数据响应速度越来越快。相应地,这种需求表现在存储产品中,就要求在单位时间内IO越高、延迟越低,用户体验才会更好。

在这方面,固态硬盘的流行已经奠定了基础,但原来负责控制固态硬盘的SAS协议,由于复杂的系统架构、过多的协议解析、有限的队列并发能力,硬生生把固态硬盘建成了红绿灯多、卡口多的“省市级公路”。因此,用户们一直期待NVMe能为他们带来一条真正的数据高速公路。Gartner的预测数字最能反映这种需求的强烈:2022年,NVMe SSD在存储中占比将达到52%。

但另一方面,我们却又不得不说,NVMe的筑路过程并非坦途。

云计算的流行让数据集中于各个数据中心之中,但要提升数据的响应速度,其IO路径涉及到服务器、存储、网络等多种设备,同时还可能需要协调FC、IP、IB、PCIe、SAS等多种网络协议。

更形象地说,这就象一个复杂的交通系统,只优化部分路段,并不能保证整个路网的畅行无阻。因此,NVMe的落地本质上是一个系统性的转换,必须对整个数据中心内数据传输网络进行规划和设计,仅仅更新一两款NVMe SSD或者NVMe闪存控制器是远远不够的。

在NVMe领域,因为产品线的原因,这种系统性需求让华为存储占据了明显的领先优势。作为存储行业SSD盘片级专利最多的厂商之一,华为对于NVMe协议进行了长期深入的研究,在业界唯一端到端开发了NVMe SSD盘,NVMe 闪存控制器和NVMe全闪存操作系统,并且在业内率先实现了全系列端到端NVMe全闪存。

特别地,华为提供全面的NVMe Over Fabric方案,其中,华为服务器、华为交换机以及华为全闪存存储实现了强强联手,一起为NVMe信息高速路护航。采用华为NVMe Over Fabric端到端解决方案,不仅可以获得和FC网络同样的IOPS处理能力,还可以在时延上大幅降低到原来的50%,同时整体的网络TCO降低65%。

为了让NVMe落地,数据中心需要一次“全路网”式更新改造,而在NOF+增强方案中,从网络、服务器、存储全部采用NVMe Over RoCE全IP组网设计,彻底改变了以往数据中心5种协议(FC/IP/IB/PCIe/SAS)、3张网的复杂局面,为数据传输构建起统一网络高速干道。

NOF+增强方案并没有止步于“全路网”的畅通,而是进一步引入了基于智能无损网络和存储的智能“传-算-智-存-管”芯片,在数据高速公路上实现了“智能交通”。在整个数据中心内部,数据实现了端到端调优,避免协议转化、缩短数据传输路径、加速数据传输速率,以及减少数据传输过程中的误码率,NOF+增强方案可以实现端到端时延小于0.08ms,大幅优于现有FC协议网络。

在实现了全路网畅通、“智能交通”之后,决定这条数据高速成败的指标,就换成了应对交通事故的反应方法。而在这方面,NOF+增强方案同样出色。针对NVMe over RoCE一旦发生链路故障、系统故障感知时间长达15秒的现状,华为的NOF+增强方案采用前端共享大卡在系统内实现故障自动巡查-即时感知-主动修复。链路故障感知时间因此从15秒缩短到1秒以内,极大地提升了系统可靠性,从而保障核心业务使用无忧。

最后,为了降低部署难度,华为还为OceanStor存储Dorado系列全闪存开发了一系列自动化部署工具,将复杂繁琐的网络部署工作变得简单易用。

技术竞争无止境,随着NVMe走向主流应用,一系列新的挑战也随之到来。对于这些新挑战,华为一直坚持未雨绸缪。

为应对大盘时代海量数据的可靠性压力,华为全闪存采用创新的RAID-TP软件技术,它基于Erasure Code算法,将校验位做到支持1、2、3位可调,容忍同一个RAID组内1-3块盘同时失效,在3块盘同时失效的情况下能够容忍数据不丢失,业务不中断。

为破解跨站点数据保护难题,华为NVMe全闪存具备完备的数据保护技术,快照、克隆、远程复制等技术帮助客户建立了从本地到同城数据中心,以及异地数据中心的层层递进的数据保护方案。

华为存储在NVMe领域走在了世界前列。目前,华为存储已经拥有金融、政府、制造、能源等行业在内的1000多个NVMe全闪存成功案例,而持续的研发实力,也使华为存储有能力让NVMe这条技术路线成长为参天大树。
花落华为为哪般


历经十八年风雨,在全球存储行业内,华为存储已成长为全球Top 5、中国Top 1级别的厂商。在全球范围内,华为存储已服务了超过12000家涵盖各个行业的用户,连续十九个季度位列中国市场第一。而这些成就的取得,与华为存储的人才和研发政策息息相关。

在华为存储内部,技术创新成为了其坚定不移的信仰。华为存储至今已经拥有超过4000名研发工程师、800多项存储专利,并在全球布局了12个研发中心。2019年,华为存储更是首次针对数据基础设施技术难题设置了“奥林帕斯奖”,鼓励和奖励全球在数据基础设施领域取得突破性贡献的科研工作者。

这样带来的直接结果,就是华为存储的创新型产品多点开花。DCIG为市场中主流全闪存阵列产品进行了全面的评估与排名,只有产品力达到业界顶尖水准的全闪存阵列产品才能入围推荐产品级别。在今年7月,DCIG发布的《DCIG 2020年-2021年全闪存阵列购买指南》当中,华为有OceanStor Dorado V6系列和OceanStor F V5系列入围推荐产品之中。

华为存储的人才政策和创新信仰成就了其市场地位,也为吸引更多外部人才创造了更好的条件。本次入选的一位华为“天才少年”的研究方向就是非易失性存储器(NVM)、NVMe协议,而华为存储正是端到端NVMe全闪存当之无愧的领导者,其中的巧合既印证了华为存储的硬实力,又表现了华为“天才少年”的产业洞察智慧。

如同用户需要选对华为这样有实力的供应商一样,对于志在成材的学子,择业成功的必要条件是选对行业,跟对公司,因此,此次选择华为存储相关领域的两位同学的选择智慧,尤其值得他们深入借鉴。



  • 游戏主播“合而限之”
  • 今年“618”苏宁为什么急了?
  • 特斯拉降价为何苦了自主新能源车?
  • 有钱和有趣,游戏公司该如何权衡?
  • 将用户变成“推销员” 社交电商+会员制人人有赚?
  • 网红出道合约:签了赌年薪百万,不签怕难熬出头


    关注 懂懂笔记


微信扫一扫关注公众号

0 个评论

要回复文章请先登录注册