全闪存Virtual SAN架构全解析

自VMware发布VSAN 6.0版本以后，VSAN解决方案支持了一种新的全闪存架构。本文将详细介绍VSAN全闪存架构的搭建和性能效果。...



vForum2015年开幕在即，Memblaze准备了充足的干货与业界专家做深入探讨。除了展台（Memblaze展台：G04）上的虚拟化方案演示及问题解答，本文作者Memblaze资深方案架构师朱磊先生将在10月29日的IT转型分论坛上对全闪存Virtual SAN架构进行更为详细的解读。

VSAN属于融合架构Server SAN的一种，Server SAN能够高速发展与网络、闪存及软件定义存储等技术的发展有密不可分的关系，其中闪存更是在计算和存储融合过程中起到了关键作用。自VMware发布VSAN 6.0版本以后，VSAN解决方案支持了一种新的全闪存架构。本文将详细介绍VSAN全闪存架构的搭建和性能效果。



VSAN架构

VMware5.5发布的VSAN解决方案一般采用混合架构，即闪存作为缓存层，利用磁盘充当容量层组成磁盘组。根据Memblaze大量客户反馈，在实际应用中，VSAN缓存层闪存容量一定要大于客户热点数据量，以确保热点数据的处理在缓存层完成。混合架构的VSAN具有低成本、大容量、灵活纵向和横向拓展计算和存储能力的特点，但是由于闪存只是做读写cache，所以在整个VSAN混合架构中热点数据需要在缓存层和容量层之间迁移，这个迁移动作的软件和硬件资源开销都比较大，限制了混合架构VSAN的性能发挥。

全闪存架构VSAN系统中缓存层和容量层均支持配置闪存，其中缓存层的闪存只做写缓存。其优势主要体现在三个方面：

缓存层与容量层均为闪存，在有持续读写IO压力的生产环境，无论应用IO落在缓存层还是容量层，都将受益于闪存极低的IO响应时延；

全闪存架构VSAN系统中缓存层和容量层均支持配置全闪存架构不需要热点数据在容量层和缓存层之间搬迁，软件逻辑大大简化，进一步释放了VSAN的性能；闪存，其中缓存层的闪存只做写缓存。其优势主要体现在三个方面：

全闪存架构不需要热点数据在容量层和缓存层之间搬迁，软件逻辑大大简化，进一步释放了VSAN的性能；



利用PBlaze4组成全闪存VSAN

上图中展示的全闪存VSAN架构中，服务器节点为戴尔PowerEdge 13G服务器，每个服务器配置2*Intel E52630V3 8 core CPU,128GB内存和1个万兆网卡，缓存层使用800GB PBlaze4 PCIe SSD卡搭建，容量层使用3.2TB闪存盘搭建，软件使用了VSAN 6.0。网络为万兆以太网络。

需要指出的是PBlaze4支持VSAN 6.0的原生NVMe驱动，驱动随VMware版本升级自动更新，方案部署复杂度降低，且更易维护，尤其是在部署大规模VSAN节点时易用性将更为突出。

这一解决方案的性能实测结果汇总如下：



在另一全闪存VSAN单磁盘组环境中，笔者搭建了Oracle数据库并进行了进一步性能测试。

测试架构示意如下：



测试环境和结果：

3个Oracle VM, 数据库配置 32GB SGA;

跑HammerDB TPC-C测试，测试3个2000 WareHouse(共6000), 3个135

并发用户连接(共405);

有效测试数据: 2.79TB，VSAN层面实际数据量5.45TB(2副本);

TPC-C测试结果：3.74M TPM(每分钟事物处理数)

Oracle AWR报告结果：



根据VSAN环境Oracle数据库测试的AWR报告，3组HammerDB TPC-C 测试结果能达到3.1万TPS(每秒事务处理数)。测试VSAN环境数据均为2副本场景，所以VSAN层面写IO处理能力需求加倍。测试过程中通过VSAN的性能监控，观测到VSAN系统需要每秒处理的读IO高达353 MBPS(44,756 IOPS)，写IO高达965 MBPS(50,259 IOPS)。

Memblaze还在对VSAN解决方案性能进行进一步优化，故本文中所提测试结果之后可能会更新。

本文作者

朱磊是Memblaze资深方案架构师，曾在多个大会上就PCIe SSD在VMware场景中的部署和优化做演讲。他就PBlaze4在VSAN环境中部署和优化做了大量的测试和研究，这篇文章则总结了一些测试结果和实践经验。在10月28日~29日vForum2015大会（北京），他将再次就PCIe SSD在虚拟化环境中的部署话题做深入的讲解，Memblaze也将进行现场VSAN性能Demo展示。

    关注 Memblaze