文件存储海量

『小编“扒”技术』——小文件优化

在互联网、物联网、云计算、大数据等高速发展的大背景下，数据呈现爆炸式地增长，由此产生的小文件问题也随之成为了...

在互联网、物联网、云计算、大数据等高速发展的大背景下，数据呈现爆炸式地增长。然而，随着社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生千万级、亿级甚至十亿、百亿级的海量小文件。

通常我们认为大小在1MB以内的文件称为小文件，百万级数量及以上称为海量。著名的社交网站Facebook存储了600亿张以上的图片，淘宝存储超过200亿张图片，平均大小仅为15KB。歌华有线图书每页会扫描成一个几十KB大小的图片，总图片数量能够超过20亿；动漫渲染和影视后期制作应用，一部普通的动画电影可能包含超过500万的小文件，平均大小在10-20KB之间。这些海量小文件数量逐年增长，小文件读写、小文件存储尤其是海量大小文件混合存储成为了工业界和学术界公认的难题。

目前的存储系统，都是主要针对大文件方案设计的。vCluster领先业界，针对小文件进行创新研究存储方案，从而进一步提高存储系统性能。

√ 支持小文件合并读写

vCluster小文件优化方案可在存储池内将多个随机小文件读写数据请求合并成一个大的读写请求，从而提高小文件读写速率，同时提高I/O吞吐量，充分发挥磁盘优点以及存储系统的高性能优势，使得特别是社会化网络、移动通信、电子商务等行业的用户网络的读写速度加快，满足用户高性能需求。

√ 支持小文件常驻热池存储

行业用户可以根据不同的需要，设置将小文件常驻热池存储，小文件设置大小可控。一方面，小文件存储空间小，不会影响热池性能发挥，且可以避免海量小文件的频繁迁移占用网络流量。

另一方面，可有效提高小文件数据读取速度，减少访问延迟。vCluster小文件优化方案既可以解决小文件存储问题，又可以满足用户高性能需求，保证业务高效运行，同时保持存储系统性能的稳定性，减少用户运营成本。

√ 支持小文件极速秒删

常见存储系统包括国外知名品牌，对小文件的删除效率极低，不到1千个/秒小文件，常常影响到正常业务数据的写入，导致业务效率大大降低。

而vCluster研发的SMART-DELETE技术，可提供20万个/秒小文件的极速删除速度，与常见存储系统相比速度提升了上百倍，解决了特别是电子卡口等视频监控行业长久以来海量小文件删除的困扰。该项技术已在龙海市电子卡口建设中成功应用，并得到客户的高度好评。