书名:边缘数据中心光网络
ISBN:978-7-115-63618-8
本书由人民邮电出版社发行数字版。版权所有,侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用,未经授权,不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟,与我们共同保护知识产权。
如果购买者有侵权行为,我们可能对该用户实施包括但不限于关闭该帐号等维权措施,并可能追究法律责任。
著 杨 辉 姚秋彦 张 杰
责任编辑 贺瑞君
人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
网址 http://www.ptpress.com.cn
读者服务热线:(010)81055410
反盗版热线:(010)81055315
本书针对当前边缘数据中心光网络多域协作、异质资源分配、服务能力可靠性的需求,从多域可信控制、资源高效分配、可靠性提升等方面提出相应的解决方案。
本书首先介绍边缘数据中心光网络可信控制技术,以及分布式软件定义边缘数据中心光网络的可信控制架构与跨域交互机制。然后,依次介绍边缘数据中心内突发流量预测与调度技术、边缘数据中心间长期流量预测与调度技术,并介绍相应的流量预测模型与资源分配算法。最后,针对边缘数据中心光网络的可靠性提升,介绍其异常预测技术与故障定位技术,并提出相应的解决方案。
本书既可供高等院校通信、电子、信息科学等相关专业师生参考,也适合对边缘数据中心光网络领域有兴趣的非相关专业读者,以及正在从事边缘数据中心光网络理论研究和系统设计的通信行业研发人员阅读。
主任:郝跃,西安电子科技大学教授,中国科学院院士
委员(以姓氏拼音排序):
陈建平 上海交通大学
陈景东 西北工业大学
高会军 哈尔滨工业大学
黄庆安 东南大学
纪越峰 北京邮电大学
季向阳 清华大学
吕卫锋 北京航空航天大学
辛建国 北京理工大学
尹建伟 浙江大学
张怀武 电子科技大学
张 兴 北京大学
庄钊文 国防科技大学
秘书长:张春福,西安电子科技大学教授
主任:陈英,中国电子学会副理事长兼秘书长、总部党委书记
张立科,中国工信出版传媒集团有限责任公司副总经理
委员:曹玉红,张春福,王威,荆博,韦毅,贺瑞君,郭家,杨凌,
林舒媛,邓昱洲,顾慧毅
电子信息科学与技术是现代信息社会的基石,也是科技革命和产业变革的关键,其发展日新月异。近年来,我国电子信息科技和相关产业蓬勃发展,为社会、经济发展和向智能社会升级提供了强有力的支撑,但同时我国仍迫切需要进一步完善电子信息科技自主创新体系,切实提升原始创新能力,努力实现更多“从0到1”的原创性、基础性研究突破。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》明确提出,要发展壮大新一代信息技术等战略性新兴产业。面向未来,我们亟待在电子信息前沿领域重点发展方向上进行系统化建设,持续推出一批能代表学科前沿与发展趋势,展现关键技术突破的有创见、有影响的高水平学术专著,以推动相关领域的学术交流,促进学科发展,助力科技人才快速成长,建设战略科技领先人才后备军队伍。
为贯彻落实国家“科技强国”“人才强国”战略,进一步推动电子信息领域基础研究及技术的进步与创新,引导一线科研工作者树立学术理想、投身国家科技攻关、深入学术研究,人民邮电出版社联合中国电子学会、国务院学位委员会电子科学与技术学科评议组启动了“电子信息前沿青年学者出版工程”,科学评审、选拔优秀青年学者,建设“电子信息前沿专著系列”,计划分批出版约50册具有前沿性、开创性、突破性、引领性的原创学术专著,在电子信息领域持续总结、积累创新成果。“电子信息前沿青年学者出版工程”通过设立学术委员会和编辑出版委员会,以严谨的作者评审选拔机制和对作者学术写作的辅导、支持,实现对领域前沿的深刻把握和对未来发展的精准判断,从而保障系列图书的战略高度和前沿性。
“电子信息前沿专著系列”内容面向电子信息领域战略性、基础性、先导性的理论及应用。首期出版的10册学术专著,涵盖半导体器件、智能计算与数据分析、通信和信号及频谱技术等主题,包含清华大学、西安电子科技大学、哈尔滨工业大学(深圳)、东南大学、北京理工大学、电子科技大学、吉林大学、南京邮电大学等高等院校国家重点实验室的原创研究成果。
第二期出版的9册学术专著,内容覆盖半导体器件、雷达及电磁超表面、无线通信及天线、数据中心光网络、数据存储等重要领域,汇聚了来自清华大学、西安电子科技大学、国防科技大学、空军工程大学、哈尔滨工业大学(深圳)、北京理工大学、北京邮电大学、北京交通大学等高等院校国家重点实验室或军队重点实验室的原创研究成果。
本系列图书的出版不仅体现了传播学术思想、积淀研究成果、指导实践应用等方面的价值,而且对电子信息领域的广大科研工作者具有示范性作用,可为其开展科研工作提供切实可行的参考。
希望本系列图书具有可持续发展的生命力,成为电子信息领域具有举足轻重影响力和开创性的典范,对我国电子信息产业的发展起到积极的促进作用,对加快重要原创成果的传播、助力科研团队建设及人才的培养、推动学科和行业的创新发展都有所助益。同时,我们也希望本系列图书的出版能激发更多科技人才、产业精英投身到我国电子信息产业中,共同推动我国电子信息产业高速、高质量发展。
2024年8月22日
随着超高清视频、虚拟现实、实时互动直播类业务不断兴起,边缘数据中心服务应运而生。它可以满足业务超低时延、快速计算部署等需求。同时,在上述新业务形态的驱动下,边缘数据中心之间产生了互联需求,以满足大带宽、低时延等业务承载要求。在上述背景下,本书重点介绍边缘数据中心光网络控制与资源分配问题,具体如下。
第1章介绍边缘数据中心光网络的研究背景,阐述数据中心光网络在控制、资源分配、可靠性等方面的研究现状,并给出本书的主要内容安排。
第2章针对边缘数据中心光网络可信控制问题,介绍分布式软件定义边缘数据中心光网络可信控制架构,分析边缘数据中心光网络可信跨域交互机制,并应用自适应布隆过滤器实现跨域路由验证。
第3章针对边缘数据中心内突发流量预测与调度问题,介绍基于误差反馈脉冲神经网络的突发流量预测。在此基础上,设计一种基于突发流量预测的流量调度算法来处理频发的突发流量。
第4章针对边缘数据中心间长期流量预测与调度问题,首先介绍多时间间隔特征学习网络模型,该模型可用来处理一步长期流量预测任务。然后,介绍一种基于长期流量预测的资源分配算法,并结合全局评估因子对流量预测的效率进行评估。
第5章针对边缘数据中心光网络异常预测问题,首先介绍基于深度学习的边缘数据中心光网络异常预测框架。其次,介绍基于长短期记忆(Long-Short Term Memory,LSTM)网络的时序数据异常预测方案与有监督/无监督混合异常预测方案。
第6章针对边缘数据中心光网络故障定位问题,重点介绍基于深度神经进化网络的故障定位方法。该方法弥补了传统深度学习方法易陷入局部最优的不足,能够有效地实现对边缘数据中心光网络故障节点的精准定位。
本书凝聚了笔者所在单位多年来的科研经验和实践总结,也包含了于奥、赵旭东、梁永燊、袁佳琪、万宇等人在攻读学位期间的部分研究成果,在此一并表示感谢。
由于作者水平有限,书中难免有不足之处,敬请广大读者批评指正。
作者
2023年9月4日于北京
本章从边缘数据中心(Edge Data Center,EDC)光网络的现状出发,深入分析由现状引发的关键问题,并有针对性地提出解决方案,以提升边缘数据中心光网络性能与服务能力。最后,介绍本书的主要内容安排。
虚拟现实、无人驾驶等靠近用户侧的新型业务对计算、存储等能力提出了更高的要求[1]。在此背景下,为满足大带宽、低时延等业务连接需求,计算、存储等网络服务能力正在快速地向网络边缘扩展。典型的应用模式为边缘计算技术。边缘数据中心作为边缘计算服务的一种实体应用形式,作用不可忽视。而光互联技术具备大带宽、低时延的数据传送能力,在边缘数据中心互联场景下扮演着重要的角色。因此,边缘数据中心光网络成为实时传送、高效处理网络边缘数据的典型场景,如图1-1所示。
图1-1 边缘数据中心光网络
为了满足边缘侧的用户业务需求,边缘数据中心光网络呈现出三大显著特征。第一,高度分布式多域互联。单个边缘数据中心受限于计算、存储等能力,无法完成某些既定的大型数据分析与处理任务,需要多个边缘侧的数据中心通过光互联形式来协作完成,由此形成了边缘数据中心多域光互联场景。第二,资源维度提升。边缘数据中心光网络场景中的业务类型多样,需求各异,为了完成多种业务服务,通常需要计算、存储、频谱等多维度资源协同分配。第三,网络结构互联复杂。边缘数据中心光网络通常是由光互联技术连接多个分布式部署的边缘数据中心,具有显著的广覆盖特征。这种特征也使得边缘数据中心光网络的连接结构非常复杂。
边缘数据中心光网络的这三大特征带来了多域协作不可信、多维资源分配低效、网络服务不可靠等问题。本书从上述三大问题入手,介绍边缘数据中心光网络的分布式可信控制技术、流量预测与调度技术、可靠服务提供技术(异常检测技术、故障定位技术)。这些技术能够从多域可信协作、资源高效分配、服务能力提升等角度保障边缘数据中心光网络的性能。
本节从数据中心光网络控制技术、资源分配技术、可靠性技术这3个方面详细地分析边缘数据中心光网络的研究现状。
数据中心光网络控制机制可以实现高效的任务调度与资源分配,以满足低时延、大带宽业务的需求。为了解决当前基于电交换机的分层数据中心网络架构中的带宽和时延问题,文献[2]介绍了一种基于分布式流控方式的快速光交换机和改进机架交换机的新型混合数据中心网络架构。该架构的簇内互连是通过光交换实现的,可在纳秒级时间内进行波长切换,而簇间通过机架接口直接互连。由于缺乏实用的光缓冲器,在冲突的情况下,该架构可利用光流控制实现数据包重传。最后,文献[2]对架构的性能进行了数值验证,充分地评估了不同场景下的时延、丢包和吞吐量。
部署边缘数据中心的目的是通过近乎实时地处理数据流和用户请求来减少时延和网络拥塞。负载均衡可以通过在边缘数据中心之间重新分配流量负载,来提高资源利用率并缩短任务响应时间。文献[3]介绍了一种负载均衡控制技术,可通过定位到负载较小的边缘数据中心来进行更合理的任务分配。上述控制技术不仅提高了负载均衡效率,而且通过对目的边缘数据中心进行认证,增强了安全性。
软件定义网络(Software Defined Network,SDN)的主要创新是将控制平面与数据平面解耦,并通过运行在控制器上的专门应用程序来集中进行网络管理。尽管基于SDN控制数据中心有许多优点,但其安全性仍然是学术界关注的问题。文献[4]介绍了基于广义熵(Generalized Entropy,GE)来检测控制层的低速率分布式拒绝服务(Distributed Denial of Service,DDoS)攻击。实验结果表明,与香农熵和其他统计信息距离度量相比,上述检测机制可提高检测精度。
为了在数据中心间光网络(Inter-data Center Optical Network,IDCON)上实现经济、高效的自适应网络控制和管理,人们开始考虑引入网络虚拟化技术,让IDCON的运营商作为基础设施提供商(Infrastructure Provider,InP),在IDCON上为租户创建虚拟光网络(Virtual Optical Network,VON)。文献[5]尝试将基于深度学习(Deep Learning,DL)的流量预测集成到IDCON管理中。首先,设计了服务提供框架,其中每个租户使用DL模块来预测其VON中的流量。其次,当发现未来流量与其VON中分配的资源之间显著不匹配时,向InP提交重新配置VON的请求。
本小节从网络层资源分配方案设计出发,分别总结了传统的资源分配和基于人工智能技术的资源分配的研究现状,并结合边缘计算技术的研究背景,详细分析了基于人工智能技术的资源分配算法设计的必要性。
通过将位于云中的服务和功能移动到用户侧,边缘计算可以提供强大的存储和通信能力。作为边缘计算的实体,边缘数据中心网络的资源分配问题引起了研究人员的关注[6]。文献[7]引入了雾计算层,设计了基于社交网络的死锁管理器,通过收集所有可用空闲资源来帮助消除死锁。
移动边缘计算(Mobile Edge Computing,MEC)是一种新兴的模式。在该模式下,移动设备可以将计算密集型或时延敏感型任务卸载到附近的MEC服务器上,从而节省能源。与云服务器不同,MEC服务器是部署在无线接入点上的小型数据中心,因此对无线电和计算资源都高度敏感。文献[8]以最小化总能耗为目标,提出了时延敏感型应用感知的资源分配算法。仿真结果表明,与传统算法相比,该算法在节能方面具有优异的性能。
传统的MEC服务器存在计算能力有限、无法及时处理密集型任务等缺点。文献[9]提出了异构多层MEC,先将在边缘无法及时处理的数据卸载到上层MEC服务器,再卸载到计算能力更强大的云中心。最后,通过合理分配云中心、多层MEC服务器、边缘设备间的计算资源、传输资源,降低了服务时延。
由于资源管理是一项决策任务,因此许多工作提出了基于深度强化学习(Deep Reinforcement Learning,DRL)的方法,用于近似和预测资源分配的用户负载。在DRL中,代理会观察环境并根据该环境采取措施。文献[10]研究了DRL是否可以在没有人为干预的情况下用于自动流量优化。
文献[11]提出了一种基于DRL的智能资源分配算法。该算法可以自适应地分配计算资源和网络资源、缩短平均服务时间,并平衡不同MEC环境下的资源使用情况。实验结果表明,该算法在MEC变化条件下的性能优于传统最短路径优先算法。
联邦学习可以实现大规模分布式机器学习,且不会暴露用户隐私数据。文献[12]提出通过降低训练组中的中央处理器(Central Processing Unit,CPU)周期频率来提高联邦学习的能量效率,并设计了一种基于DRL的、经验驱动的计算资源分配算法,该算法可以在网络质量未知的情况下收敛到接近最优解。
本小节将从异常预测与故障定位两个角度分析数据中心光网络可靠性技术的研究现状。
在异常预测方面,目前的研究主要集中在数据中心网络、高性能计算网络、光网络等领域。文献[13]提出了一种混合网络异常预测模型,该模型利用灰狼优化算法和卷积神经网络(Convolutional Neural Network,CNN)实现了云数据中心场景下的异常预测,提升了异常预测的效率和准确度。而文献[14]针对高性能计算系统,设计了基于自编码器的异常预测方案,通过训练一组自编码器来学习超级计算节点的正常行为,并在训练后使用它们来识别异常情况。在光网络场景下,文献[15]提出了一种自学习异常预测框架,它采用无监督数据聚类模块对监测数据进行模式分析,将该模块学习到的模式转移到有监督的数据回归和分类模块,以实现异常预测。
在故障定位方面,目前的研究主要集中在光网络领域。文献[16]将神经网络模型应用于光传送网的故障定位场景。为了解决神经网络模型的梯度消失和梯度爆炸问题,他们采用了梯度剪切或权正则化的方法,并选择长短期记忆(Long-Short Term Memory,LSTM)网络模型进行故障定位。文献[17]将知识图谱引入告警分析过程,提出了一种基于图神经网络(Graph Neural Network,GNN)的推理模型,对告警知识图谱进行关系推理,从而实现了网络故障定位。
综上所述,截至本书成稿之日,国内外工作主要集中在数据中心网络或光网络单场景下的控制、调度、可靠性研究,而针对边缘数据中心光网络的研究相对较少。近年来,虚拟现实、无人驾驶、智慧家庭等新业务、新场景对网络边缘侧的计算、存储等网络能力的要求越来越高。边缘数据中心光网络能够为上述业务提供计算、存储等能力的互联互通,具有很好的应用前景。
边缘数据中心光网络呈现出功能融合和控制协作的发展趋势,多维资源集成分配将成为边缘数据中心光网络的重要指标。因此,研究边缘数据中心光网络多域可信协作、多维资源分配、网络可靠服务等技术成为重要方向。本书的组织架构如图1-2所示。
图1-2 本书的组织架构