云存储剖析发表时间:2016-11-25 09:55 1.云存储概述 云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。 对于专业的存储厂商来说,云存储不是仅仅指存储设备,而是服务。就如同云状的广域网和互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。 目前云存储主要分为公有云的存储服务和私有云的存储服务。这两种云存储服务在IT建设上和适用场景上差距很大,公有云存储服务主要指互联网企业或者个人在使用的存储服务,如网盘(快盘,金山网盘,51快盘等)为个人免费提供存储空间;七牛云存储不仅仅提供存储空间还可以提供相关的API接口,提供相关的开发;公有云的存储服务做的最好的是亚马逊,提供标准的S3接口,来满足上层应用的需要。公有云IT的建设主要采用服务器存储的方式来提供空间,通过多份副本实现数据的安全可靠,私有云IT的建设主要采用传统的存储架构和应用软件实现云计算中心高可用,智能化,可扩展,易管理的数据中心。私有云的存储服务主要建设在自己单位的机房中,整体IT架构和公有云有很多区别,目前私有云建设在存储层都采用专业的存储阵列,阵列采用双控制器或者多控制器的架构,通过分布式文件系统实现数据的集群存储。 2.公有云存储服务 公有云的存储服务即是基于互联网应用的云存储,云存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问。下面是目前互联网使用的云存储产品:微软skydrive 、云创minicloud迷你云、百度云、联想网盘、华为网盘、阿里云,和七牛和亚马逊。 公有云的IT基础建设架构图如上图所示: 通过整体拓扑,可以看到,不同的设备在不同的地方,只要通过互联网就可以实现数据的存储和访问,实现跨时间和跨地域云服务。整个IT的建设主要通过不同的分布式文件系统实现数据的多份存储。 在存储设备的选择上,互联网企业不约而同的采用了存储服务器的架构。以一个10000台服务器的互联网数据中心为例,其中大约有10%的服务器用于云存储,存储数据的空间全部由普通的服务器提供,利用服务器内置的RAID卡管理10-12块硬盘,单台可以提供30TB的空间,通过存放3-5个副本的方式来保证数据的可靠性。这样做的原因有两点: 1、单一设备,简化运维管理。服务器是互联网企业最主要的硬件设备,其上可以通过软件实现计算、CACHE、网络、存储等所有功能。统一的硬件设备能够最大化发挥维护团队的技术能力,降低维护成本。 2、应用的性能低,瓶颈在于网络带宽。服务器提供存储的主要瓶颈是性能,互联网企业云存储的性能一般在10——20MB。甚至低于服务器内部硬盘的读写速度。考虑公有云的存储服务一般用于网盘等业务,受到互联网的出口带宽限制,这样的速度也足够了,没有必要配置专业存储。 3、私有云存储服务 云存储作为一种方便快捷的文件备份方式已经为广大客户所接受。考虑到公有云存储所存在的数据存储安全性、私密文件保护隐患方面的问题、以及企业上网行为管理的在执行上的需求,很多企业开始在自己的网络内部架设私有云,将云存储的服务端部署在企业的内部网络中,服务端的维护与管理可以由企业自行控制,企业员工可以在授权范围内安全的使用私有的云存储功能。 很多在公共云存储服务端无法实现的功能,如云计算中心高性能计算,大数据等应用都能在私有的环境下得到良好的解决。由于企业信息化的运维人员没有互联网企业对应的运维人员多,同时互联网对数据的安全性和企业对数据的安全性要求相差很远,所以在私有云建设的时候,为了保证更好的运维和管理,数据的安全和可靠,企业或者政府单位都采用传统的专业的存储整理加上对应的应用软件实现云存储系统的搭建。 私有云IT建设拓扑如上图所示: 通过上图,可以清楚的看出,私有云的云存储建设相对于公有云的云存储建设要复杂的多,整体建设从数据的安全性,业务的连续性考虑,充分的满足了政府和企业的整体需求。图中,存储层采用专业的磁盘阵列的集群实现资源的集中存储,传统专业的存储都采用双控或者多控制器的方式实现数据的可靠存放;上层通过NAS节点(应用服务器)实现并行访问,单独的元数据管理,保证了私有云存储数据的顺利访问和读写;NAS节点通过交换机和服务器冗余链接,构建了云存储的后端SAN网络。 目前采用NAS+传统的磁盘阵列实现云存储的主要建设方式;EMC的Isilon采用OneFS文件系统,实现磁盘阵列的集群,为上层应用提供统一存储空间;IBM的SONAS采用GPFS的文件系统实现云存储的建设;华为的N9000采用VxCFS文件系统实现NAS的集群;宏杉科技的MC系列采用MCFS文件系统实现NAS的横向和纵向扩展,实现存储资源的集群扩展和资源的统一提供。 第二种建设方案采用存储阵列之间的集群方式;目前主要采用多控制器的方式实现存储之间的互联互通。EMC的VMAX产品最大支持到16控制器引擎,每个引擎间通过Rapid I/O总线技术实现互联;华为的HVS85T/88T最大也支持16控制器引擎,每个引擎之间通过PCI-E 2.0总线技术实现互联;宏杉的MS7000也支持16个引擎,每个引擎之间通过PCI-E 3.0总线技术实现互联。 4.宏杉科技云存储解决方案 互联网企业提供的公有云存储服务更多关注存储容量的扩展、运维管理的统一、接口协议的统一。而传统专业存储厂家对云存储的定义为:主要是给云计算数据中心使用,为数据中心提供高性能,智能化,可扩展,易管理的专业的存储系统,云存储系统是一个多存储设备、多应用、多服务协同工作的集合体,任何一个单点的存储系统都不是云存储。云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。 宏杉科技云存储的方案正是采用应用软件与存储设备相结合,通过应用软件来实现存储的集群,为上层应用提供存储服务。宏杉科技根据上层应用需求的不同建立起了多套云存储的解决方案,通过分布式文件计算形成了高性能计算的解决方案,通过和Hadoop结合实现了海量数据存储和计算的大数据方案,通过专业的灾备技术,实现统一的云灾备方案,通过和网盘软件结合,形成行业内私有云网盘的解决方案,宏杉科技利用了应用软件和专业存储设备的集成实现了云存储的落地。 |