2017全球未来网络发展峰会

创新合作共赢    引领未来发展

当前位置:嘉宾致词> > 分论坛二

《结构内容分发技术》

编辑: 共浏览:663次

非常高兴有机会在这介绍我们的工作,实际上我也是这的主人,因为我们学院离这一公里不到,在九龙湖校区。今天介绍的工作是863项目,也是提出双结构项目,在这样一个网上如何进行内容分发。想三个部分给大家做一个简短介绍,首先看看内容分发目前的现状,这张片子可以看出来,已经预测到2015年到未来五年当中,未来全球互联网流量快速成长,也可以看出来里面大部分流量都是文件共享型,以及内容性的应用,这些应用从这个张图可以看出来,这张图右边可以看出来,这样一个呈字数分布,大部分流量集中在少量上面,第一个内容分发成负媒体化和海量化和个体化。第二个整个互联网访问流量成密流特征,关键大量的内容在互联网出现重复的这样一种传输,使的互联网在性能、能耗和可持续研究方面,面临重大的挑战。

我们针对这样一种情况,我们也出现了一些内容分发的技术,比如说CDN方式还有一些(英文)等其他方式,这些方式我们为有这三个方面的问题。一个是应用层方面的内容是通过比如这种重定位方式去定位相应的内容,对底层网络不能很好的感知,同时路由效率传输非常低下;第二个方式也用到缓存,缓存直接跟应用相关,所以不具有对整个缓存管理方式普识性,更重要底层互联网,比如说上层的(英文)是应用层上面构架的,跟原来点对点通信方式不能完全匹配,所以我们说点对点物理传输和点对点内容分发是不对的。因此我们针对这样的情况,提出了一个方案,这个方案实际上符合国际这样一种发展潮流,美国人提出内容为王,信息中心网络理念,业界公认设计什么样的网络架构能够更加有效支持内容分发这种主流应用,比如说我们有很多的架构计划,欧洲的两个计划等得。他们都是ICN主网方式,也是把这样一种方式以这个内容,以这个通信为中心这种方式转移到内容为中心的方式。这张片子可以看出来Click已经构建的这样的平台,能够在5G下面进行ICN的推广。

我们提出来这样一种方式,这种方式实际上是这样的特色,第一个就是分发模式上面重新构架,整个构架体系的分发上面,引入了辐射性广播机制,来应对点对面这样一种分发特色,能够支持高热度内容不限规模的分发,因为点对面辐射方式并不考虑到这样一种规模的方式,同时能够用户个性化访问需求,同时在存储机制独立应用更具有朴实意义,而且能够提升缓存技术在内容分发上的价值;第三个方面就是路由方面,平衡内容转发和路由内容转发效率,怎么样做到平衡,提高内容的准确性。

下面介绍理论性工作和实践性工作。理论性面向内容,提出通讯广播融合,以内容为中心这个双结构内容分发架构,也就是这样一种底层网络架构,围绕着内容路由、缓存管理,内容的兴趣,兴趣的匹配等等这样一些机制,开展相应的系统研究,开展协议算法。下面介绍架构,我们从这个图里面可以看出来,就是说从左边这张图,资源在左端,用户端的右端,我们通过底层的这样一些路由分发模式,这是我们构建地面网络相应的网源设备,同时这样一些资源能够通过无线方式,卫星方式能够上载在空中,然后我们用广播的方式,来推送给地面的用户,或者相应的这样一种网源设备,通过地面网获取资源以及通过广播网来推动资源两种方式。可以看出来这种方式这种架构,采用路由分发,空中的广播推送,两种模式来支持内容的分发。

第二可以看出来这两种模式注重内容为中心,面向内容然后构建内制的缓存。当然可以看出来这个特色里面,还包括推和拉的结合,就是说你要获取相应的资源,可以通过地面网络,也可以通过空中网络分发的机制。在这样一个架构上面,可以看出来我们最重要的实现了两样东西,第一个就是所谓的网源设备,红颜色可以看出来,这个构建了整个网络的边缘和以及相应的核心结点,另外一方面就是要构建内容控制器,从网源设备把这样从地面这样一种获取网络信息,从空中获取的网络信息能够分发到相应的用户和端设备。那么另外一个方面在这样的构架下面,我们最重要是广播如何实现内容分发,从这个图上可以看出来,我们构建三个点,右下角这是一个终端用户,这个左下角是一个S样的服务器,最上面是一个S广播的原点,通过这样的三角构架来使的用户端获取相应的信息。一方面来自于地面互联网,也许一跳可达,也许通过互联网若干跳获得相应的资源;另外一方面我们可以从广播的方式,从推送的方式直接能够给用户推送相应的内容,构成了推和拉的方式,通过广播和地面这样一种方式。

也就是在我们的广播端是通过信息采集,实现了热门内容聚类整合和广播分发,在我们C端,产生完成兴趣识配和个性化的推荐,也就是在我们S端完成对用户请求就近响应,以及于互联网主结构进行协同。这是我们在这个基础上构建的路由机制和内制缓存策略,可以在这个图上可以看出来,底层是数据群,最上面是应用层,我们主要的工作构建在控制平面和数据平面,数据平面采用我们新型的网源,内容为中心这样一个路由器,我们称之为新型网源设备,可以看出来有缓存机制,有内容请求路由,以及和用户的信息采集这样一个功能。另外一个方面内容控制器,设置到感知网络内容升级,以及策略生成和业务APR和(英文)内容交互,这里面最重要一个工作就是由CR这样一个标影,我们通过UC,我们对内容进行统一标签,通过语意、标影用信息数据源来进行信息数据标准化进行处理。左边是我们对标影格式分解,涉及到内容的标题,我们头上面要标影是哪个网站,哪个栏目以及时间和相应的话题,通过这样的标影对这样一个信息有一般性的属性和标影议题和要义、标题、话题等相关内容标语。

下面再介绍我们实现工作,我们开发了这样一个系统,在这个系统上面实现了网页内容的采集,话题的聚类,广播的分发以及兴趣识别的功能。在这个基础上面我们研制网源设备,在这个基础上进行平台构建、软件开发,这是我们整个一个内容分发的系统。左边是英特尔网,右边三角构架包括服务器,包括用户端以及上面广播发送的设备,那么相应的内容通过地面网络传输,同时上载到内容服务器,通过广播的方式能够广播下来,所以构成内容聚类,广播分发和推荐展示等四个方面。这是一个实现的方式,就是广播卡,我们构建了这样一个左边是一个界面,系统的界面,右边可以看出来用户兴趣的一些分类,一个图谱。

在这样基础上网源设备非常重要,这个网源设备具有广播接受,具有缓存管理和内容路由,我们是基于模块化可扩展这样一个高性能开发,能够支持推方式的广播缓存的机制,所以这两种机制集成在一起,边缘结点能够透明接入,流量牵引这个是可以预见路由的方式。这是我们这样整个控制器支持下的缓存系统和内容路由的工作模式,这个控制器你可以看出来,他具有内容试图维护与查询这样的功能,还有内容路由策略生成,这样底层网源设备是能基于模块化方式来构建这样一种新型网源设备,右边可以看出来上边是控制器这样一种模块,包括接口以及虚拟化这样一个工作,然后到策略生成,内容网络试图能支持相应的网络管理的应用,内容业务的优化,内容应用的部署。通过接口能连接到新型网源设备,这个网源设备要进行流量解释,然后用户分析,以及缓存支持和路由的模块,这个模块有相应的策略。

这个是我们构建这样一种示范实验的平台,我们这个工作涉及到东南大学,在我们东南大学范围内部署了相关的网源设备,也构建了广播方式,不同的终端方式的,通过英特尔网,通过大的项目,未来网络创新环境能够通过路由设备连到中科院、以及上海数字电视工程中心等等,构建这样一种内容分发综合实验平台,这个实验平台主体新型网源主体构建,我们相应工作在南京、上海、北京地域上的构建和内容分发场景的示范工作。

具体来讲我们这样一个工作和我们整个863项目整个构架在一起,涉及到863牵头单位,清华大学,我们通过华三交换机连接我们东南大学和清华大学的工作,在这个架构上面来进行内容分发这样一种实验。这是我们这样一个构建的界面,在清华大学场景下面,结点的一个实时动态的方式,右边可以看出来包含的信息结点的信息。这样一个工作也用到了新华社的原形系统当中,新华社有大量的信息需要规格化,统一的标影,我们采用了标识新华社设计开发UCI,对新闻内容进行聚类和广播,我们构建了所谓第二网络,这是整个一种架构系统,完全是按照我们推拉方式来构建。那么这个工作,其中一点重要就是UCI,这个UCI已经成为新华社里面行业标准,很快就成为国家的标准进行制定当中。

我们这个工作也应用到大有公司,通过这样一个开发云和端大有公司电商系统,能够充分体现广播分发、内在存储的特性,所以在大有进行了很好的应用。我们这个工作主要两个方面,一个在理论方面根据内容驱动主网概念,我们提出了广播推送和路由分发两种方式方结构内容分发结构,主要是这样的构建,这样一个网络。在这样基础上我们实现能够支持内容计算这种新型的网源设备,然后构建方结构的分发平台,我们做到了分发模式创新和路由机制创新,以及缓存策略创新。我的报告就到这里,谢谢大家!

 

主持人:感谢罗老师的报告,我们有两个问题。

 

提问:谢谢,确实像您说的内容分发成为互联网最重要的业务模式,咱们项目提出的方式有很好的促进作用,里面有一个问题我听的不是特别清楚,以前大家在做内容分发要么是推要么是拉,缓存比较好做,现在有了推拉结合,一个服务器既要接受广播过来的推送模式,也有接受用户拉的需求,容量受限优先保存哪一部分。

 

罗军舟:我们构建网源设备有Click方式,这个Click里面新型的网内这样一种缓存机制,就继要接受来自于互联网,有要接受来自于广播,这样对于Click管理首先是比较通用,这是开放的,同时也是比较复杂的,你刚才提的问题确实很好,就是说既要考虑Click整个架构里面的容量,也考虑策略,我们也在做这个工作,我们做的工作并不能解决所有问题,我们在不断研究Click机制,能够让它更加朴实性,更加有效性。

 

提问:内容分发肯定是将来您说的,大部分内容都是流量分发,在咱们结构里面如果交互式应用的话,您觉得这个里面怎么支持会比较好一点呢?

 

罗军舟:应该来说不完全考虑这个就是这种完全交互的方式,因为我们现在大量的流量是共享,特别是视频,所以我们在这样结构当中,主要考虑以这种方式为主的,你比如说在大量视频网上反反复复传输,而且视频流量来自于几个网站,大量带宽吃掉了,怎么样内容分发有这样的推拉的方式,结构上的调整,所以就没有完全考虑这种交互的方式,交互的方式我也认为可能占用流量,可能来说不一定非常突出明显文件共享型,可能会在研究过程当中考虑不同流量方式分类处理,毕竟工作有很多停留在理念和方法上面,实际工作中会碰到很多问题。