非常感谢邀请，我来给大家介绍一下我们近期的一些工作。我主要是围绕着大规模网络性能测量和异常检测做了一些工作。我的汇报主要围绕三个方面第一件事情就是咱再生大规模网络情况下如何进行网络部署，如何进行低开销测量方法研究。第二个是当我们采到数据有数据缺失如何进行准确数据检测，第三个就是数据高精度检测。

首先讲第一个，如何保证网络测量准确性的同时，降低网络代价提高网络效率成为一个突出的难题，当网络越来越大有很多节点的时候，尤其是面向大规模的网络，比如说SDN我们需要有全网状态信息，才能够做比较优化路由策略和功能能量策略。我任何一个节点对之间进行测量，如何说我测量都需要这样的性能，这样的代价测一次SN（音）平方级。当网络需要持续不断测量，这样测量代价就更高。我们知道主动测量，测端到端的延时它通过主动注入数据包来实现。对于这个吞吐量可能需要压路数据包，压路数据包我们发现不光是对，对网络造成很多的影响，本身这种测量的方式就会使网络性能变差，因此我们就在想如何来降低测量，我如何拿到全网网络性能数据同时，来降低网络测量代价呢？如何进行网络部署呢？这就我们所关注的问题。

现在我们发现在数据处理领域还有信号处理领有有稀疏感知技术，稀疏感知技术比如说压缩传感，比如说这个数据本身是稀疏可以通过少量测量来找出少量的数据，在举证填充还是扩展到（英文）。张量填充同样的，传统的应用都应用于异向数据处理。我们想是不是可以通过这个数据来做低开销网络来做一种手段。在上面网络图如果我要测端到端的延时，这里有六个节点，我建立举证，这个举证行就是原节点，列就是目标节点，是不是可以通过测量少部分的原节点，对性能来推测出剩下的性能呢？如果可能的话，就对我们低开销网络部署带来了可能。我们在想这些技术的可行本身是低质是稀疏的，我们网络测量数据、网络性能数据是否有这个特点呢？确确实实有这个特点，我们拿着现在网络性能数据，这个是端到端的延时数据，我们建成类似这样子的举证。我们来看举证是否具有低质属性呢？确确实实，我们发现前面少数举证能量就占所有数据能量，就说明这个数据具有低质性，低质性就给我们使用稀疏感值提供测量，提供了前提。当然这种挑战是在于，虽然我们稀疏感知技术可以通过小量测量推，但是网络测量是在线的过程。我在拿到数据之前我是不知道这个数据本身的分布的，所以我们举证填充有很多的理论，给到一个举证然后给出数据分布或者给出质的表征，我告诉你罪与预值测多少就可以恢复了。我在数据没到来的时候我不知道数据是怎么分布的，我很难知道测量到哪做的这种推测。

虽然我们知道可以用稀疏感知来做这个东西，但是在技术和理论应用上都需要突破。基于网络测量提升填充来进行网络测量的话，首先第一件事情我们知道举证填充，当知道它一部分信息比如说举证质，我们可以推测储它需要最低测量数量是多少。在测量过程中我们知道，我们不知道，我们只知道是已知测量数据不知道数据的分布，因此很难通过举证的质来推测出质量。

第二件事情，我们知道当这个测量的位置不同的位置它对数据最终恢复的对策是不一样的，我们在线测量的时候我们并不知道数据分布，也不知道哪个位置是有效的位置，所以这个都给我们带来了挑战。我们需要确定它准确更好的测量位置和最少的测量数量，来降低整体的测量开效。

我们在这方面做了一些前期的工作，首先在2015年的（英文）我们第一次提出来通过性能填充来做网络测量。当测量点部署随着测量（英文），随着测量点的增加它会，这个误差会越来越低。当超过了一定的测量数量的时候，再增加对于测量恢复结果精度影响不大，因此我们在想我们能不能找到这一个点呢？我们就发现提出来一个定律，我们通过前后两个虚拟测量，来估测两次虚拟偏差，如果两次偏差推测这个差不多的话，我们用理论定理，这个时候第二次后面这一轮就可以停到。我们通过提前测量停止，我们来降低测量代价。

右边也是关于我们网络测量，数量确定一个相当一个工作，我们发现了，我们如果说过于历史的数据，我们在做推测的的时候事实上觉得没有什么效果。因此我们采用滑动窗口来测，我们发现前后两个滑动窗口它的质，它的举证质具有强相关性，也就是说前后两个滑动窗口我们发现它的质就是增加和减少1，我们从定理上证明了这个，我们就基于这个发现我们提出了基于全向学习的方法。如果在前面窗口能够确定我测量数量，我后面可以基于全向学习来学习和初始确定我测量情况，然后我们再通过一些学习的方式来确定这个时候的测量的最终数据，数量来减少网络测量，减少整个测量的部署。

关于测量位置的确定，我们也提出了基于信息量测量位置测定方法。通过在动态过程中来比较前后两次恢复结果的偏差，来选择偏差大的地方，作为它的测量下一部分测量位置，还提出一个相对简单的测量柵格划分的测量位置调度算法，我们利用举证填充，举证填充性格就是当某一行或者没有一列如果没有数据，那这个很难推算的。我们就将整个举证面划成了很多个区域，通过不同颜色区域之间进行简单调度的方法，来减少这个每一行每一列没有这个数据采集到的可能的这种情况，从而大大来提高恢复的精度。

再近期我们又提出一个，前面讲的工作是在举证内部，我是决定哪个位置进行调度，哪个位置进行测量。在最近我们的工作，好，就是说当我们前面已经拿了一些历史数据，在网络层两中我们很可能对未来一个短期进行规划。我在未来短期我如何来确定，未来短期我测什么地方，来保证我推测准确性呢？这个就是我们最近提出基于主动采样测量调度算法，也是举证的方式，但是我们这一次可以做到了不是在举证内部，我们可以做到举证外部。如何来短期进行调度，通过历史的学习，来保证我调度测的位置，可以能够准确恢复我全部的数据，来减少整个测量的开销。这一些是前面这些工作是我们关于测量调度发放的论文，然后在测量数据分析的时候，我们发现当我们把数据采集到了之后，第一来是我们根据采样来获得数据的，第二件事情在数据传输过程中，可能是用UDP传输，传输很可能出现数据会丢失，不可避免数据丢失在很多网络应用中我们需要完整数据怎么办？我们就发展把数据推测出来，填充出来。数据如何建模？如果建模成一阶的销量的话，那么可以知道它只包含了一维的信息，如果建模成二维的举证的话，它可以包含了行和列之间相关的信息。我们知道网络流量天和天、周和周有相关性，因此我们将这个网络性能数据监测一个高阶的张量。我们可以想到基于这种建模本身对于信息的挖掘，对于信息的表达是更准确的。

因此我们在这个基础上做填充算法精度会更高，或者对我测量的要求就会更低。这个时候我做测量分析的时候，我们确确实实就是围绕这一块儿来做，我们首先，这是我们在2016年第一次将张量填充用于做网络填充数据分析上来。我们把网络数据建模成张量，当我们建成张量之后，一定相比于之前举证精度更高，但是相比于居轴集成代价会更大。我们在想我们肯定要求它得到更高的精度，但是集成代价高我们希望相应的减少。我们对比前后两个时段张量填充和分解的过程，我们发现在前面一个时间这个数据到来之后，当后面数据到来之后我们整个张量分解是要求出用于张量分解的参数。如果我在后面时刻张量分解这个参数能够通过前面时刻的结果直接计算，而不是通过完全重新来分解和迭代计算来进行，这样我们代价会大大降低。因此我们这篇文章就是将前一论测量结果、数据分析张量结果，到后一段时间到来新的数据，直接通过演算得出新的分解的结果，我们在持续恢复过程中我们计算的代价降低。

但是我们在很多时候，我们就是第一个在前面用2016年发现用张量来处理网络之后得到精度提高的情况下，我们在想张量一定会提高网络会得到更多的精度。我们想第二个问题难道每一天的测量它的模式是一样的吗？也许我们在实际网络测量开展过程中可能是说比如说我前半天五分钟测一次，后半天八分钟测一次，这个时候就会导致我这每一个举证面举证的列数是不一样的，它们就那中间那个图是测量的轴，每一个点就表示我开展一次测量，它的点数在每个轴上发现是不一样多的，就到证据证面大小不一样，我们知道用张量来建模数据分析精度会更高，但是是不规则张量，虽然我们知道是不规则的，但是我们知道网络特征是这样的，比如说我上午九点钟和第二天上午九点钟，我们测量数据本身规则还存在，我们讲数据在物理时间轴上进行划片，划成多个内部是这个均一分布的测量，但是每一个物理轴上进行划片，表示每一个小块儿物理时间和上链是对应的，通过这样子划分之后，采用数学方法将一个不规则张量重新变形，变成地下规则张量。基于规则的张量进行填充，获得推测的数据然后再反变型回去得到原始的数据，这样子我们就提供一个在不规则张量情况下，变换说明情况下，一个张量填充算法，我们可以让使得在我们在实际测量中能够用上这个张量填充。这个是我们2017年的工作。

在前面东西我们都考虑在王者数据情况下推测全部的数据，在一些真实环境中我们可能更关心的是，TOPk的流量，也许我们拿到部分测量数据然后我们现在想知道的就是，在每一个时间链上拓不开的流量是多少？难道我们在想，难道我是要全部推出参数，将所有数据全部出来，然后再举证排序这样，如果这样子有一些数据是我不关心的，有些数据是小的数据，我也帮他去算了一遍，这个时候我们做法是提出了离散张量填充算法，我们跟原来算法不同的时候原来所有表征和过程都是用实数型，到我们这儿用离散型，我们在这样子框架下面，我们对于本身不是大的数字，我们不做推测，不做计算。我们能够快速玻璃掉不是大的数据，然后来实现快速推测。事实上我们快小和计算存储都大大降低。这个是我们放在2017年（英文）的工作，通过我们拿到测量数据之后，这个时候我们就希望在测量数据在这个数值上面来分析和监测网络是否出现异常。网络是否出现异常，当我们拿到数据的时候，以这个数据为例，我们一开始是基于举证，在举证框架下做异常检测，我们这里的异长检测是是是无监督检测，我只要数据情况下我来分析，我现在收到数据它的传统的模式，和数据上跟传统模式当中的差异，通过这种差异我来解释异常。这个是我们一开始做的网络异常检测，一开始我们建成举证，这个是一个（英文）的举证，行是（英文）面是时间轴。在正常情况下这个数据是低质举证，我如果能把收集到的观测举证已经被异常污染的观测举证能够分离出来，分离成低质举证加稀疏举证，我就可以借于稀疏来进行检测。但是那些东西来做的时候异常检测精度不高，那个框架是在图象处理用来分前倍几的工作，它是通过直接来约束低质和稀疏来检测异常，那个工作我们想这个比全面（英文）PC，比PC检测方法精度肯定要高，这个是框架，这个框架在做的过程中是迭代进行的，它每一个迭代分为两个字问题，第一个子问题和第二个子问题，第一个子问题是通过（英文）分解来做的，（英文）分解代价比较高，在这篇文当中我们讲整个过程在中间把这一块儿问题把它归结成一个寻找机的过程，我们快速借助于聚敏感函数，将整个数据进行快速重组，然后来借助一个聚敏感函数，我们搞一个（英文）缩放，来进行数据分割，实现来快速找到它的低质块，我们达到最好的精度的同时，我们速度比传统方法要提高几倍。

在前面做的过程中，我们事实上已经发现基于张量做异常检测一定会比基于举证检测精度高。这个是收到观测数据，我们如果能把观测数据分成低质张量和稀疏张量这个时候我们确确实实可以比举证来说可以提高精度，如果在做的时候，这里面依然存在它在整个过程这种张量复杂度一定会提高，因此我们就提出一些相应的方法，来降低在张量分解过程中的复杂度，这个在我看来是用张量模型来做网络异常检测第一篇论文，然后这一个效果甚至我们想象得到，比举证来做分解的效果大大提高了。

在做的过程中，整个举证过程中都是基于现性代数，在做的过程中只用了现性特征，这个数据可能会有一些非现性特征，如果说这个数据分布流性体上，我们再算两点之间距离，我们将非现性特征在刚刚我国中我们只考虑现性特征，如何来表示这个非现性特征，如果将非现性特征引入到张量分解当中，我是把正常模型拿到我如果也能把正常模型学到，这样子我精度一定能提高。因为它用张量的同时也学习到了现性和非现性。

我们有的时候有些场景需要我们快速进行网络异常检测定位，比如说数据到了时候我就告诉他这个数据是否存在异常，我们就研究了一些在线检测方法，需要快速定位当前到来数据是否存在异常，我们这个方法是提出一个双向二维PC的分解方法，通过检测新到的数据对于PC投影，在二维PC投影的方向，来快速定位网络是否存在异常。这个是我们刚刚今年在（英文）发的就是，刚刚那个方法我们在快速投影的时候有两面投影，实际上在数据面表达虽然建成张量。这里我需要快速进行异常检测，但是这个地方我们把它做成三维，这个地方是用滑动窗口来做，这个东西跟前面框架有类似，但是在这一个过程中我们发现整个滑动窗口在滑动过程中后一个阶段分解跟前一个分解是有关系的，而且在算法在执行迭代过程中，迭代下一论和它的前一论是有关系的，因此我们利用这个关系不再在每一个轮做重新的分解，而是通过迭代关系进行更新计算，使得这个计算比前面时间提高六千种。

这个是我们做的大规模测量技术相关成果，谢谢大家。

主持人：谢谢谢教授，谢老师精彩的报告，我们有时间有一个问题。

提问：谢主任问一下，你用几型张量分解？你现在不是张量分解和张量填充吗？问一下张量用的是几型张量？

谢鲲：我们做的还是比较简单的，我把这个网络数据建成三阶张量，当然还可以建成更高阶的张量。

提问：我不你用的是几比几？

谢鲲：我有两种，一个维度是ODIN，一个是（英文）一个是（英文）。

提问：我们现在实验环境还是在模拟实验环境。

谢鲲：我们这个过程我们拿的现网运行跑的数据，跑的数据比如说端到端的延时，我来看哪个地方测哪个地方不测，来推出你数据的精度。