多种存储方式支撑大数据平台架构

通信运营商在经历了2G语音时代人口红利，3G流量时代流量红利后，随着4G数字化时代数据红利的到来，大数据+云数字化经营模式导致数据应用的激增。...

文章来源：中国联通网研院网优网管部IT技术研究团队

作者：吴洋

        通信运营商在经历了2G语音时代人口红利，3G流量时代流量红利后，随着4G数字化时代数据红利的到来，大数据+云数字化经营模式导致数据应用的激增。存储的容量、性能、可扩展性等指标都将伴随着存储解决方案的灵活配置，并且从业务的需求出发，实现随需应变。

随着软件定义网络的可行，软件定义存储势在必行，存储的功能由软件定义，存储的资源池化由软件分配。存储异构管理最终由软件打破，做到与存储硬件的彻底解耦。业务驱动存储服务，最终实现由底端存储硬件到云化的转变。

任重道远，今天先来个开篇，聊聊数据的基本存储方式。

在数据存储中，存在各类存储解决方案，DAS，NAS，SAN等基本存储解决方案，同时各有其特点，根据存储运用场景可以配置优化不同存储解决方案。

一、直连存储（DAS）

DAS（Direct Attached Storage）直接附加存储、或称直连存储。

DAS的解决方案中，存储设备是被直接连接到服务器上，服务器是访问连接其自身存储资源的唯一节点。常用连接方式为磁阵光纤阵列卡与服务器HBA卡直连。

DAS存在问题：

1. 单台服务器可以直接连接一个指定的存储资源，多台服务器做DAS时，存储资源不能在服务器之间动态分配，造成存储资源浪费；
2. 存储资源访问必须与服务器中的其他应用共同竞争服务器的CPU、内存和I/O总线资源。降低了存储系统的性能；
3. 访问服务器的存储资源受可用的局域网带宽的限制。局域网上的访问流量可以影响对存储访问的时间和速度，存储访问也可以影响使用局域网的其他应用的性能；
4. DAS的配置包含单点故障。RAID技术从单块磁盘失效上保护数据，但是，SCSI控制器，局域网和服务器本身都是故障单点。为了提高可用性，服务器安装了双控或多控制卡，多处理器，风扇，电源等等。加之这些冗余设备，故障点仍旧存在。
5. 数据需要手动备份，增加运维人员工作量。

二、NAS（网络存储）

NAS（Network Attached Storage）网络附加存储。NAS是在TCP/IP协议基础上提供文件的存取服务。在NAS解决方案中，服务器或客户端可以直接接入NAS存储环境。像在DAS环境中一样，客户端和服务器通过网络访问NAS上的存储资源。不同的是，使用NAS，网络上的任何客户端和服务器可以直接访问这些存储资源。从服务器角度看，NAS等同于文件服务器的功用，为网络中用户提供文件系统功能。数据直接通过用户客户端与存储设备通信，传输数据。

NAS的特点：

NAS好比网络数据存储寄存器，它使用传统的以太网协议NFS、SMB/CIFS over TCP/IP接口与系统建立联系，向客户端用户提供文件服务。NFS和CIFS均属基于操作系统的文件共享协议，所以NAS的应用场景应该是小文件级别、低流量数据传输的共享存取。

NAS适用于通过网络进行文件数据共享的用户。NAS存储设备在其长距数据传输中有其便捷、轻量级数据传输共享的特点。

NAS在企业办公网环境中部署方便。NAS可以提供可靠的文件级数据整合。

NAS VS DAS：

1. NAS对文件和应用的访问快于DAS。在DAS的配置当中，存储访问和管理功能必须与使用服务器资源的其他应用相竞争，例如处理器周期、系统内存和I/O总线带宽。NAS设备，在另一方面，是专用于存储的，所以它没有和其他应用竞争资源的情况。
2. 多服务器可以访问同一个NAS设备，增加了应用的可扩展性。
3. 因为服务器和客户端在网络上访问NAS的存储资源，NAS就提供了一个灵活的、分布式的存储环境。各个服务器可以通过企业数据网络上的任一点访问NAS存储资源。
4. NAS比DAS更可靠。瘦服务器的优化使得存储访问更可靠，并且它不会运行有可能导致系统宕机的其他应用。
5. NAS设备是即插即用的，并且易于安装和管理。不像许多DAS解决方案，NAS设备被设计成无须整个阵列停机就允许系统管理员增加存储容量。
6. 因为NAS设备使用一个独立平台文件系统，任何连接到网络的主机操作系统都可以访问到NAS存储资源。

三、SAN（存储区域网络）

SAN（Storage Area Network）存储区域网络，是一个由专用网络连接起来的由服务器和独立的存储设备组成的。不像NAS设备，存储区域网络存储设备不包含任何服务器功能，并且它们不是运行一个文件系统。主机负责运行和管理文件系统。在这个环境中，任何一台服务器可以访问任何一个存储设备。一台服务器可以访问多个存储设备，并且多个服务器可以访问同一个存储设备。这允许服务器和存储设备各自独立地扩充。SAN将通道技术和网络技术引入存储环境中，提供了一种新型的网络存储解决方案，能够同时满足吞吐率、可用性、可靠性、可扩展性和可管理性等方面的要求。

通常SAN由磁盘阵列（RAID）连接光纤通道（FibreChannel）组成（为了区别于IP SAN，通常SAN也称为FC-SAN）。SAN和服务器和客户机的数据通信通过SCSI命令而非TCP/IP，数据处理是“块级”（block level）。SAN也可以定义为是以数据存储为中心，它采用可伸缩的网络拓扑结构，通过具有高传输速率的光通道的直接连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。SAN最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。

一般情况下，我们常说的SAN网络就是FC-SAN网络。

FC-SAN顾名思义通过FC通道来连接磁盘阵列。光纤通道是一种互联存储区域网络（SAN）构件的技术。虽然其它连接技术也可以使用，但是，今天光纤通道技术是目前使用在SAN上的最常见技术。

光纤通道协议传输速度上快于SCSI协议，并且它可以被用来远距离连接存储设备。光纤通道可以使用多种多样的物理介质，包括光纤线缆、同轴电缆，以及双绞线，并且它被设计为可以兼容多种协议包括SCSI和TCP/IP。

SAN的优势：

虽然NAS能够提供针对许多应用的解决方案，因为其高性能和高可伸缩能力，SAN仍然是企业计算环境首选：

1. 光纤通道存储区域网络提供高可扩展性能。SAN的性能不受也不影响局域网络上的应用性能；
2. 服务器、存储和带宽可以独立地被扩展；
3. 因为主机运行存储的文件系统。每台主机可以选择运行对它应用最适合的文件系统；
4. 集中的存储备份，其中性能、数据一致性和可靠性可以确保企业关键数据的安全；
5. 高可用性和故障切换环境确保更高的应用水平。
6. 可扩展的存储虚拟化，可使存储与直接主机连接相分离，并确保动态存储分区；
7. 改进的灾难容错特性，在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离。

        DAS、NAS、SAN互评：

在一个DAS配置中，应用、文件系统和存储设备自身都是在主机管理之下。外置的存储阵列允许存储设备物理上位于一个独立的设备箱中；但是服务器仍旧以同样严格的方式管理这个存储设备。因为服务器和它的存储是紧密地连接在一起，服务器和存储都不能单独扩充。

在一个SAN配置中，存储被从主机当中分离出来，主机通过SAN网络访问存储资源。服务器和存储设备的这种分离允许它们各自独立地扩展。可是，主机管理文件系统，所以主机从特定方式上仍旧拥有“存储”。多个服务器可以访问同样一个存储资源，但是，并发访问和异构主机的可访问能力都难以部署实施。

在一个NAS的配置当中，存储从主机分离出来，主机通过LAN访问存储资源。存储设备，就是—NAS设备—管理文件系统。这就降低了数据库应用的性能，因为主机被强迫使用针对NAS应用的一般文件系统。但它却促进了实现并发和异构环境访问。

声明：

本文为中国联通网研院网优网管部IT技术研究团队独家提供。

如需转载或合作，请联系管理员（zhouyh@dimpt.com）

    关注 畅游DT时代