第三届未来网络发展大会

网络全球 决胜未来

当前位置:嘉宾致词> > 分论坛二

新一代分布式网络存储系统

编辑: 共浏览:550次

谢谢主持人的介绍,我们是广东省新一代通信与网络创新研究院是去年刚成立的,我们广东省这块是比较受认可的,但是整个在广东来说的话通信理论应用基础研究弱一点,我们专门成立了广东省新一代通信与网络创新研究院加强研究这块,我今天的题目是新一代分布式网络存储体系系统,我们刚成立,我们最开始在成立的时候,我们年数比较少,我们拿了比较简单、比较可行的理论体系过来,给大家汇报做不成熟的方法。

分几个方面,当前大家对用户存储这块,可能会有很多的想法,我们现在云计算是当前世界上是热门的技术,大家更多是计算,对存储大家谈的比较少,老百姓用的比较多还是云盘之类的,某某云盘存的时候很好,真正往外读的时候线速等等方面有很多的问题,还有安全隐私的问题,我们更多谈对企业级的存储,主要对行业,比如说对医院、公安、政务、学校教育等等这一些,我们都知道这块来说,特别是公安来说涉及到大量数据的隐私,医院也是病人的隐私医院要产生大量的数据。

三甲医院来说一年几百T的数据产生,对客户的隐私,在某某相册来说的话大家存在隐私泄露的问题,对这种用户隐私非常要命的东西,大家比较敏感的,所以大部分来说对企业来属于企业自建数据中心,我们现在无处不在的摄像头公安来说,医院的信息科存储属于安全的因素吧,但是建一个存储云之后,大家知道存储是很贵的,也没有备份的问题,存储数量是有限,你在线肯定存部下,用什么离线的方式来弄了。

同时,你整个来说的话毕竟每个地方建了很大的存储,对用户、对企业来说每个人有更大的运维维护能力,报息还要换硬盘很大的问题,行业的痛点还是比较多的。他们的诉求其实现在还都是希望能够上云,他们是想上云,想永久在线,我们去医院看病,以前拍的片子,医院开放的政策,你用手机调出以前拍片子的信息或者是体检、检查的信息,现在在线时间很短,只有一个月、几天,再往前能不在线调阅,因为存储解决不了。

他们还是很希望上云,有很快的读写速度,同时做很好的数据隐私保护,数据可靠性不能因为某某云数据就没了,不像其他数据病人之前信息,现在的诊断大量依据以前的信息推论,数据的可靠性不能丢。成本也也不能是一个天价,这块诉求比较多,存在的顾虑比较多,我们上云来说,我们单一个云面临很大的风险,相当于我放在你这没有办法加密,我数据量太大加深我的负担,这时候存在即使你不看,我认为你也看的可能。

某些云设计厂商提出一些保累计,大家认为是靠制度做的,老板想看你这个制度也没有用,单一厂商数据隐私有很大风险,单一云厂商我们隔三差五听到某些云厂商掉线,退出服务等等各个方面,这块来说做不到整个备份,读取速度分高峰期,整个也非常慢,这时候一旦拥塞,单一厂家供应有问题。

还有所有数据存在一个厂家,你在下面的服务、要价、升级没有议价的主动权,这块来说是我们做存储的时候,跟用户深入的调研之后主要的诉求。我们来的话,还有一个,我们来看的话,就是现在自建私有云还有大的问题,刚才是大的方面,仔细来看就是整个建设成本、运维成本非常大,我们还有数据,包括异地掉档等等各方面,你自建一个云,从自建硬件做异地容灾、运营维护、交换机全部换一遍、人员工资等等所有方面整个成本非常大,大到很多医院没有办法维持整个发展趋势。

没有办法做之后,就开始采用离线的方式刻光盘、磁带,这样存大量的磁带和刻盘的方式,我一个人生命、我调以前的视频就会调大量的离线数据,整个时间非常长,领导、病人急着用的时候,你数据准备时间是非常长,同时你要比较完好保存这些物理的磁盘、磁带,你整个安保、温度、湿度有严格的控制,整个成本还是比较慢的。原来做了一个规划,我建一个机房做多少存储,大概不到一年所有存储耗完了,我原来留了一部分,原来用3个月到半年,用户可以查这里面所有病人原始资料,我拍片化验,结果用户用的时候只有三天,一个星期都撑不住,放开数据量太大了,云远远落后业务的增长。

现在面临很大的问题,我们一边大量的闲置,一边用户开始自建云,这个矛盾越来越大、这个鸿沟越来越大,我们提了一个方案,我们认为比较合理或者比较科学,抛出来跟大家讨论一下,我们把单一云供应商变成多云,这样提高数据的可靠性,我们把数据分成多份,然后存在不同的云上面,这样安全性得到一个非常高的,没有任何一个云的厂商能够完成拿到我的数据,同时我是串行,现在是并行,我要从一个云厂商逐步串行,我至少可以分三份、十份,我多少份读写速度得到极大的提升,同时数据进行编码,编码有安全性和完整性。

我按照三分之二的方式来说,我变成三块,我取两块回来把完整的信息恢复,这样不用等到三个,我三个云厂商任何一个,读写速度也好、本身的问题也好,或者推出服务也好,我仍然能够把所有数据进行完整的恢复,我们也基于朴素的想法把做了,我们在客户端来看的话,从客户端来说的话,这块医院或者是公安或者是政府,一个学校的内部、内网摩擦去看,我们用网络定义的存储服务器网关把数据分发到未来,你采购的基础设施的云存储服务商上面去,我分不同的部分上去,我们举例三个运营商,我取任何两个回来都能把数据恢复,任何两个只要是正常工作我就能把整个数据提供给用户。

同时我们网关放在机房,我们密码、我们规则、策略、所有东西都放在UK上面交给企业内部保管,这样所有的数据在相当于密码一样,由且自己管理,我们一个小样大家看这是一个图,我们进行一个编码之后,切割之后变成完全无规律,你从单一任何一个云厂商数据也是不完整的,你必须是多个云厂商的数据在一起按照一定的规则才能够进行恢复,这样极大恢复,保障整个用户的安全,以及各方面。

同时来说,我们认为我们新一代网络存储过来有这么一些特点,我们真正用网络的特点进行存储,就是说我们原有的单云变成多云,多云是现在流行的概念,我们是多云的存储架构,可以分配的,我们刚才说是三个分开,我们编码规则一些服务好的我们多放一些,有些服务少的多放一些,我们都可以进行调整,同时数据安全我们可以把数据进行切割、乱序,你在任何一个厂家没有能力恢复我的数据。

对不同的厂家来说我对每个文件有不同的加密规则,我按照权重参数配置,每个人都不一样,我们按照用户权限、企业进行加工,通过加扰做安全。我们整个网关本身也是双机备份的话,我企业简单放两个服务器就行了,不会一台损坏就坏了,同时坏掉核心还在于你的UK,你的(英文)上面,你所有的规则,所有权限在UK里面,你只要留一个(英文)下来还可以恢复。

这个可视化我们升级等等各方面,我们把原有的存储把一个点存储分散到网络体系当中,充分利用网络的特点来进行存储这种业务的优化,第二个我们广义分布式,我们不是说在不同的硬盘之间进行广义分布,我们把数据放在线上面,我们是分布式的,我们对可户提供的服务来说我们就是一种SAAS,我给你提供服务不是重投入的基础设备厂商,我只是SAAS服务,我给你配几个UK,K是规则的,告诉你几个文件是规则的,这块来说我们是非常轻资产的一种运营来做。

我们同时来的话,我们能极大用户所关心真正考虑的东西,比如我们读取速度,读取原来是串行,无论是自建还是放在单一的云厂商都是串行,对我们来说都是并行,你用得越多速度越快,我们假设三朵云来说按照1.5倍算,我们读写是原有的1.5倍,我们访问频度可以做得非常好,你可以自主选择供应商,你今天跟这个关系好选这个,改天服务不好可以换,我根据原有的规则生成第三朵云,你跟厂商搞僵了没关系,我根据其他厂商恢复第三个厂商数据出来,这块来说选择权、议价权、自动权都有极大的提高。

同时存储的类型我们知道,存储有很多种,这块我们医院很多信息、数据,原来来说是不区分这些的,云基础厂商目前刚好提供标准的服务,我们可以充分把这些东西用起来,从冷到热各种场景做出来可以做提高,这是我们做了价值比较,比较就是我们看成长,安全性都已经得到保证,最重要保证客户降低成本,降低成本我们也算了,我们是标准大概是三分之二的价格,归档性是三分之一的价格,你整个成本是得到了一个极大的提高,我们这边来说的话,我们也一个测算,给我们一年归档型其他的算,我们算下来价格不到自建云的一半,这块我们觉得还是相当好的,因为前景来说我们之前是和医院也沟通比较多,医院比较多来说,其实刚才大部分的诉求都是医院提供给我们的,我们研究院刚成立在找方向,找行业去沟通。

沟通下来跟公安沟通,觉得最大需要解决我们通信的问题,还有到医院、公安、各个方面交通去沟通下来之后发现,大家反而对网络通信来说的话,大家有了5G基本上,大家网络都可以,对存储大家看比较多是存储,这是我们研究院刚成立是第一个练手的项目做这个,原因是很多很多的政府,我们也是属于政府下属,我们在跟其他的部门沟通的时候,发现说的最多是网络好了之后,存储式的瓶颈是大的问题,医院他们就说,医院产生了,我们某三甲医院,我们15年,一天要产生100G,一天有40个T的数据,现在完全没有办法,信息科的处长他们就说,他们现在没办法去弄了,只是现在限定每个科室,每天只能多少数据这种,不然的话真的放开用,三年的规划不年不到全满了,原来拍一个片子选一张照片就行了,现在存储空间有了我弄很多照片,空间一下子满了,存储成为整个行业,医院行业发展最大的瓶颈问题。

还有公安的视频也是一样,跟公安无论是应急还是交通交流面临很大的问题,他们视频太多了,大家看到摄像头,大量摄像头,也是从1080到2K,数据越来越多存不下,他们的云面临很多问题,2K以上做到人脸识别、人工智能各种方式,真存储不下,存储是他们最大的问题,网络建设显得不是那么迫切了,这块来说,还有其他的场景,比如现在的学校,我们学校每一个都有教室,这些需求量非常大,我们也要进行完整的留存,各种写真,还有自己办的电视节目,物流、各种视频网站等等,未来随着食品,大家5G业务里面就是VR、AR、4K、8K,5G考虑6G考虑通道,我们到(英文)之后谁存数据,存数据是大的问题,不是每个企业、每个单位一建建几个P的数据中心,存储还是用云的方式做。

目前云的话,刚才自建云是一个存在很大问题的,但是公有云也是所有,我们总体来说希望能够提一个用网络的方式解决这个问题,就是我们网络定义存储,这样提出我们新一代分布式网络存储系统,我的报告到这里,谢谢大家。