越努力越幸运，FusionInsight首家通过5000+节点超大规模集群考验

为客户提供更大规模存储空间、更大范围数据共享、更高扩展性和可用性。...

数据中心联盟于2017 年12 月25 日至2017 年12 月29 日委托中国信息通信研究院对华为技术有限公司的 FusionInsight HD 平台进行了测试，本测试依据数据中心联盟《Hadoop 平台基础能力测试方法 2.0》验证了该产品在 5001 节点上的功能、运维、多租户、可用性、安全性、兼容性、扩展性、易用性等能力。全部用例均通过，华为FusionInsight成为首家通过该测试的厂商。

大规模集群存在较多技术挑战，比如机房的容量限制和网络交换层级的“临界点”、集群管理能力限制、文件系统极限等，凭借出色的性能和多项炫酷的技术开启了“集群”新时代，华为FusionInsight是怎么解决这些技术限制，实现超过5000节点的超大集群呢？开源社区调度的周期同心跳结合在一起，当集群规模增大时，会遇到系统扩展性以及调度性能瓶颈。华为FusionInsight Superior Scheduler的调度器引入了专门的调度线程，把调度同心跳剥离开，调度器在接收到各个NodeManager上报的心跳信息后，将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大的情况下，调度性能依然优异，不牺牲调度性能，也能避免大集群环境下的“心跳风暴”。还有，Superior Scheduler调度流程采用了从作业到资源的正向匹配方法，这样每个调度的作业都有全局的资源视图，可以很大的提高调度的精度。相比开源调度器，Superior Scheduler在系统吞吐量、利用率、数据亲和性等方面都有很大提升。开源社区YARN组件的心跳机制是NodeManager和ApplicationMaster定期向ResourceManager上报周期性心跳。这种心跳机制实现简单，能够应付大多数场景。但在某些特殊场景下存在一些问题，如在大规模集群（NodeManager大于1000节点）中，ResourceManager端由于负载过大无法及时处理周期性上报的心跳信息，导致心跳拥塞；而延长心跳周期又会导致调度性能下降，等待调度的任务长时间无法获取到集群资源，使得集群计算资源利用率低。通过引入动态心跳机制，ResourceManager可以根据当前负载决定下一心跳上报（Throttle Heartbeat），以此解决心跳拥塞的问题；同时NodeManager和ApplicationMaster可以在发生紧急事件时触发基于事件的心跳（Event Based Heartbeat），以解决集群资源利用率低的问题。

• 华为FusionInsight提供集群安装部署工具，支持模板安装，可实现大规模快速安装部署；
• 提供大集群的容错能力，所有维护操作支持可重入，安装部署支持按实例数容错，支持主机隔离（防止单点主机问题引起集群雪崩）；
• 大集群硬件异构环境能力，支持实例组管理，可按不同硬件规格主机设置不同的配置；
• 集群规模弹性伸缩，集群可大可小，不同集群规模应用不同系统配置，合理利用系统资源；
• 集群快速修复能力，支持主机重装 、集群修复、IP修改；
• 大集群中海量监控数据的处理能力。

都说人生赢家要具备这几点：超强的自我管理能力、超乎常人的精力与毅力、对世界好奇和持续自我刷新。在小I妹看来，就是越努力越幸运，每一次普通的改变都将改变普通。华为FusionInsight成为 “数”生赢家的原因，也在于在自我专注的领域不断创新，解锁了上述多项关键技术，使华为FusionInsight大数据平台支持5000+超大规模集群，为客户提供更大规模的存储空间、更大范围数据共享、更高扩展性和可用性。

点击了解华为大数据&AI

    关注 华为IT产品解决方案