一种通算存学一体化融合系统

阅读: 评论:0



1.本发明涉及计算机技术领域,尤其涉及一种通算存学一体化融合系统。


背景技术:



2.随着互联网逐渐由消费型应用向生产型应用转变,各行业数字化发展催生了诸如自动驾驶、增强现实(augmented reality,ar)、虚拟现实(virtual reality,vr)、超高清视频、触觉互联网、全息通信等新型业务。这些业务不同于传统互联网时代的邮件分发、网页浏览、文件传送等业务,它们具有两个最核心的特征即属于计算密集型与时延敏感型业务且要求网络具备提供超低时延、超高通量带宽、超大规模连接、超强算力等差异化服务的能力。然而当前提供网络基础互联和全局可达能力为目标的ipv4/ipv6(互联网通信协议第4/6版)技术体系,难以满足计算密集型和时延敏感型业务对网络能力提出的上述需求。
3.为了应对计算密集型和时延敏感型业务对当前互联网带来的严峻挑战,由传统网络以连接转发为目的向在网络中融合计算、存储、智能等能力的转变已经成为业界广泛探索和发展趋势,在网络与计算融合领域,为使计算能力满足计算密集型业务的算力需求,提出了边缘计算、软件定义广域网、云网融合等解决方案。近些年,随着互联网技术与通信技术的深度融合,由云网融合逐渐向以算力网络为代表的算网融合演进已成为重要发展方向;在网络与存储融合领域,为支持网内的泛在缓存与内容就近快速响应,分别从演进式与变革式角度提出在网络层上再叠加一层网络即内容分发网络以及在网络层实现基于内容命名的寻址与路由即信息中心网络;在网络与智能融合领域,为实现泛在人工智能驱动网络能力根据不断变化的网络动态环境进行持续自我学习和自适应快速调整,提出了边缘智能、智能互联网等方案。
4.针对网络与计算、网络与存储和网络与智能融合提出的技术仍难以满足计算密集型和时延敏感型业务对网络能力的需求,因此,相关学者提出网络与计算、存储、智能的一体化融合,但仍处于研究的初期探索阶段,距离实际部署应用还有较大理论与技术缺口,无法形成完善的技术体系。


技术实现要素:



5.鉴于此,本发明实施例提供了一种通算存学一体化融合系统,以消除或改善现有技术中存在的一个或更多个缺陷,解决现有网络技术由于无法对多元化智能业务需求的网络资源、计算资源、存储资源以及智能资源进行合理编排、调度、管控和共享,进而无法满足多元化智能业务对网络能力的需求的问题。
6.本发明提供了一种通算存学一体化融合系统,该系统包括:
7.基础设施层,所述基础设施层包括用户侧移动终端设备、边缘节点设备和云服务器;
8.资源抽象层,所述资源抽象层基于虚拟化技术利用多个预设表征参数对所述基础设施层中各移动终端设备、各边缘节点设备和各云服务器构建动态感知多维资源池,所述
动态感知多维资源池包括网络资源、计算资源、存储资源以及智能资源,所述智能资源包括特定计算业务对应的智能模型和数据;
9.编排管控层,所述编排管控层用于将各计算业务拆解为多个函数任务,构建有向无环图以表示各函数任务的执行顺序和需求;获取所述资源抽象层中的所述动态感知多维资源池,并结合各函数任务的执行需求利用预设的智能编排调度模型得到执行各计算业务的调度决策;以及,将所述基础设施层中各设备按照资源状态变化频率划分为多个频率类别,并分别设置虚拟汇聚节点进行管控,通过预设方法获取所述基础设施层中各设备工作状态信息并由预设的智能路由决策模型计算得到路由决策;并将基于各计算业务形成的智能资源通过区块链进行可信分享;
10.应用服务层,所述应用服务层用于装载并提供多种计算业务。
11.在本发明的一些实施例中,所述资源抽象层还用于在所述资源抽象层中构建所述动态感知多维资源池之后,实时获取所述动态感知多维资源池内多维资源的状态信息和各计算业务运行数据,通过预设的智能分析评估模块进行分析,得到所述动态感知多维资源池中多维资源的新表征参数。
12.在本发明的一些实施例中,所述动态感知多维资源池中智能资源的新表征参数包括智能元数据、智能模型命中率和智能熵度量,其中,所述智能元数据包括智能的类型和版本;所述智能模型命中率表示对应智能模型预测准确性;所述智能熵度量的计算式为:
[0013][0014]
其中,dl表示智能的变化,s表示智能的实际性能与预期性能之间的差异性;r表示物理量参数。
[0015]
在本发明的一些实施例中,所述资源抽象层还用于在所述资源抽象层中利用多个预设表征参数构建所述动态感知多维资源池之后,
[0016]
获取所述基础设施层的所述动态感知多维资源池,根据预设网络协议将所述基础设施层中各设备的多维资源状态信息生成第一报文进行注册和通告;根据所述预设网络协议将各计算业务的资源需求生成第二报文并进行注册和通告;以供所述编排控制层根据所述第一报文和所述第二报文生成所述调度决策和所述路由决策。
[0017]
在本发明的一些实施例中,所述编排管控层还用于在得到调度决策之后,将根据所述调度决策处理所述计算业务得到的结果、数据以及所述智能编排调度模型的性能反馈给所述编排管控层并计算第一激励指标,根据所述第一激励指标优化所述智能编排调度模型;其中,所述第一激励指标包括第一资源利用率和第一服务质量评分。
[0018]
在本发明的一些实施例中,在所述编排管控层中,通过预设方法获取所述基础设施层中各设备工作状态信息并由预设的智能路由决策模型计算得到路由决策,还包括:
[0019]
基于数控分离技术,在路由的数据面采用带内网络遥测技术和分段路由探针实时探测所述基础设施层中各设备之间的工作状态信息,并上传至路由的控制面,所述工作状态信息包括链路时延和各设备工作负载;所述控制面采用时序卷积网络与图卷积网络相结合的算法,提取上一时刻所述基础设施层中各设备工作状态信息的时域信息的特征和所述基础设施层中各设备的拓扑信息的特征,并基于所述智能路由决策模型计算得到当前时刻的路由决策。
[0020]
在本发明的一些实施例中,所述编排管控层还用于在得到相应路由决策之后,所述云服务器获取执行相应路由决策后所述基础设施层中各设备之间的工作状态信息,并计算第二资源利用率和第二服务质量评分;并根据所述第二资源利用率和所述第二服务质量评分构建联合损失优化所述智能路由决策模型。
[0021]
在本发明的一些实施例中,所述编排管控层还用于在得到相应路由决策之后,根据所述路由决策按照指定路径发送探测数据包,并获取所述路径中所述基础设施层中各设备之间的工作状态信息,所述工作状态信息包括链路时延和各设备工作负载;在所述路径中所述基础设施层中各设备之间的工作状态信息不满足相应计算业务的需求的情况下,更新所述路由决策为其他空闲路由。
[0022]
在本发明的一些实施例中,在所述编排管控层中,将基于各计算业务形成的智能资源通过区块链进行可信分享,还包括:
[0023]
由所述基础设施层中的所述移动终端设备、所述边缘节点设备和所述云服务器组成区块链网络,并将所述智能资源发布至所述区块链网络形成区块链进行存储;
[0024]
所述移动终端设备、所述边缘节点设备和/或所述云服务器查询所述区块链获取所述智能资源,并采用本地数据集进行更新适配;所述本地数据集为所述移动终端设备、所述边缘节点设备和/或所述云服务器执行特定计算业务产生的工作状态信息和所述特定计算业务所需的运行信息。
[0025]
在本发明的一些实施例中,所述编排管控层还用于将基于各业务形成的智能资源通过区块链进行可信分享后,最大化所述智能编排调度模型和所述智能路由决策模型的请求者和提供者的收益,最大化所述移动终端设备、所述边缘节点设备和所述云服务器的第三服务质量评分和第三资源利用率,最小化所述移动终端设备、所述边缘节点设备和所述云服务器的能耗,建立嵌入反馈机制,促进所述移动终端设备、所述边缘节点设备和所述云服务器分享各自生成或者优化得到的智能编排调度模型和智能路由决策模型。
[0026]
本发明的有益效果至少是:
[0027]
本发明提供一种通算存学一体化融合系统,基础设施层基于用户侧移动终端设备、边缘节点设备和云服务器以及对应的云-边-端网络,为通算存学一体化融合系统提供网络通信、泛在计算、分布式存储、智能学习等资源和基础能力。资源抽象层基于虚拟化技术利用预设表征参数对基础设施层中各设备及基于基础设施层中各设备形成的智能模型及数据构建动态感知多维资源池,实现基础设备与多维资源的灵活映射;编排管控层根据各计算业务需求利用智能编排调度模型得到调度决策,经云化、微服务化后的多维资源具备弹性扩缩容能力,满足不同业务对多维资源的差异化需求,提升泛在分布式资源利用效率。基于数控分离技术获取各设备工作状态信息并由智能路由决策模型得到路由决策,实现对多维资源信息的确定性路由管控,提供确定时延、确定性时延抖动等确定性转发能力,满足多元差异化业务的端到端确定性服务质量保障。将基于各计算业务形成的智能资源通过区块链进行可信分享,在保障各设备可信性、传输数据隐私安全的基础上,提升智能模型训练和推理的效率,提升智能模型性能。本发明将网络与计算、存储和智能一体化融合,以满足计算密集型和时延敏感型业务对网络能力需求。
[0028]
进一步的,本发明建立了细粒度度量与表征方法和标识机制,实现对动态感知多维资源池中多维资源和能力的抽象度量和统一表征,同时兼容并完善现有的粗粒度表征方
式和基于域名系统的标识方式,为在编排管控层中实现多维资源的编排调度、路由管控、智能互联等功能提供基础。
[0029]
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
[0030]
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
[0031]
此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,并不构成对本发明的限定。在附图中:
[0032]
图1为本发明一实施例中通算存学一体化融合系统结构示意图。
[0033]
图2为本发明一实施例中多维资源表征与标识机制示意图。
[0034]
图3为本发明一实施例中多维资源编排与调度机制示意图。
[0035]
图4为本发明一实施例中确定性路由管控机制示意图。
[0036]
图5为本发明一实施例中智能资源互联与可信共享机制示意图。
具体实施方式
[0037]
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
[0038]
在此,还需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
[0039]
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0040]
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
[0041]
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
[0042]
这里需要强调的是,在下文中提及的各步骤标记并不是对各步骤先后顺序的限定,而应当理解为可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
[0043]
为了解决现有网络技术由于无法对多元化智能业务需求的网络资源、计算资源、存储资源以及智能资源进行合理编排、调度、管控和共享,进而无法满足多元化智能业务对网络能力的需求的问题,本发明提供一种通算存学一体化融合系统,其中,通、存、算、学分别表示网络、存储、计算、智能,简称为通算存学,也可根据对应的英文名称communication、computing、caching、learning,简称为3cl。
[0044]
如图1所示,该系统包括:基础设施层、资源抽象层、编排管控层和应用服务层。
[0045]
基础设施层包括用户侧移动终端设备、边缘节点设备和云服务器。
[0046]
资源抽象层基于虚拟化技术利用多个预设表征参数对基础设施层中各移动终端设备、各边缘节点设备和各云服务器构建动态感知多维资源池,其中,动态感知多维资源池包括网络资源、计算资源、存储资源以及智能资源;智能资源包括特定计算业务对应的智能模型和数据。
[0047]
编排管控层用于将各计算业务拆解为多个函数任务,构建有向无环图以表示各函数任务的执行顺序和需求;获取资源抽象层中的动态感知多维资源池,并结合各函数任务的执行需求利用预设的智能编排调度模型得到执行各计算业务的调度决策;以及,将基础设施层中各设备按照资源状态变化频率划分为多个频率类别,并分别设置虚拟汇聚节点进行管控,通过预设方法获取基础设施层中各设备工作状态信息并由预设的智能路由决策模型计算得到路由决策;并将基于各计算业务形成的智能资源通过区块链进行可信分享。
[0048]
应用服务层用于装载并提供多种计算业务。
[0049]
在基础设施层中包括各类基础设备以及构成的云-边-端网络,其中,云-边-端网络中,“云”是传统云计算的中心节点,是边缘计算的管控端;“边”是云计算的边缘侧,分为基础设施边缘和设备边缘;“端”是终端设备。基础设备包括云-边-端网络对应的云服务器、边缘节点设备和用户侧的移动终端设备,示例性的,云服务器包括云节点、数据中心和ai(artificial intelligence,人工智能)执行器等;边缘节点设备包括边缘数据库、mec(mobile edge computing,边缘计算)节点和智能网关等;用户侧的移动终端设备包括传感器、vr(virtual reality,虚拟现实)设备、智能家居和车辆等。
[0050]
基础设施层中包含大量的硬件设施,且其分布无处不在,导致实际管理时非常困难。因此在资源抽象层中采用虚拟化技术将各类基础设备的物理资源抽象为对应的逻辑资源,构建物理资源和对应逻辑资源之间一一对应的映射关系,以软件的方式配置逻辑资源,实现对各类基础设备对应的物理资源的管理。其中,虚拟化技术可以采用虚拟机技术和容器(container)技术;具体的,物理网络资源包括无线接入网、专线接入网、核心网、传输网等各类通信网络资源;物理计算资源和存储资源由具有算力和存力的异构设备实体组成,如智能设备、边缘数据库服务器、边缘计算节点和数据中心等,虚拟化后的逻辑资源则包括虚拟机和/或容器中的网络资源、计算资源和存储资源。
[0051]
资源抽象层精确感知无处不在且异构分布的网络资源、计算资源和存储资源并汇集,同时也将基于各类基础设备形成的智能模型及相关数据基于虚拟化技术抽象为智能资源,将网络资源、计算资源、存储资源和智能资源聚合,构建动态感知多维资源池,以便于对多维资源的统一编排管控。其中,多维资源包括网络资源、计算资源、存储资源和智能资源;智能资源包括智能算法模型以及通过应用智能模型获得的抽象数据,并且,智能资源是基于网络资源、计算资源和存储资源产生的间接资源,不是基础设备自身具备的物理特性,因此不被作为基础设备,没有在基础设施层中体现。
[0052]
在使用虚拟化技术中,基于多个预设表征参数和属性标准来表示资源,隐藏或忽略与标准无关的属性以简化资源的使用和管理流程,虚拟化技术不仅可以实现物理资源的抽象,也可以实现虚拟资源的进一步深度抽象。
[0053]
在一些实施例中,示例性的,上文所述的预设表征参数如图2所示,针对计算资源
采用vcpu核数、内存大小和处理器型号等指标进行粗粒度度量与表征,针对存储资源采用存储类型、存储容量和存储时间等指标进行粗粒度度量与表征。
[0054]
粗粒度度量与表征方法难以满足对泛在异构分布的多维资源实现跨域的灵活自适应编排、调度、管控、共享等需求,因此,在现有粗粒度度量与表征方法的基础上,基于人工智能方法构建智能分析评估模块以得到多维资源的细粒度度量与表征方法,其中人工智能方法可采用深度学习、强化学习、迁移学习等各类机器学习方法。
[0055]
在一些实施例中,资源抽象层还用于在资源抽象层中构建动态感知多维资源池之后,实时获取动态感知多维资源池内多维资源的状态信息和各计算业务运行数据,通过智能分析评估模块对多维资源的状态信息和业务运行数据之间的关系以及业务运行的态势进行动态实时分析,得到动态感知多维资源池中多维资源的新表征参数。
[0056]
具体的,如图2所示,计算资源的表征粒度细化为cpu mips(每秒处理的百万级指令数)、gpu flops(每秒浮点运算次数)、每秒无服务器计算函数触发次数等面向业务的计算能力等;存储资源的表征指标粒度细化为存储的iops(每秒i/o操作次数)、每秒存储资源可访问次数、单次存储操作访问时间等;智能资源的表征指标细化为智能元数据、智能模型命中率以及智能熵度量等,其中,智能元数据包括智能的类型和版本;智能模型命中率表示智能模型成功率,对应智能模型的预测准确性。
[0057]
在一些实施例中,智能熵度量的计算式如公式(1)所示:
[0058][0059]
其中,dl表示智能的变化,s表示智能的实际性能与预期性能之间的差异性;r表示物理量参数。
[0060]
在现有的网络协议中,多维资源的标识方式为在应用层基于dns实现多维资源的注册及通告。其中,dns是指域名解析协议,基于tcp(transmission control protocol,传输控制协议)和udp(user datagram protocol,用户数据报协议)协议组的应用层协议。dns协议用于将域名解析转换为ip(internet protocol,网际互连协议)地址,和/或将ip地址解析成对应的域名地址,一个公网ip对应一个域名。示例性的,dns协议是将域名和ip地址相互映射的一个分布式数据库,能够使人们更方便地访问通告的标识数据。在本发明中,基于上文对多维资源进行细粒度表征后,在兼容现有应用层标识方式的同时,制定网络层多维资源标识方式。
[0061]
在一些实施例中,网络层多维资源标识方式依靠通算存学新型网络协议。
[0062]
具体的,获取基于基础设施层构建的动态感知多维资源池,根据预设网络协议将基础设施层中各设备的多维资源状态信息生成第一报文进行注册和通告;根据预设网络协议将各计算业务的资源需求生成第二报文并进行注册和通告;以供编排控制层根据第一报文和第二报文生成调度决策和路由决策。其中,各设备的多维资源状态信息和各计算业务的资源需求都采用细粒度表征参数表征。
[0063]
如图2所示,通过结合现有的基于dns的应用层标识方式和上文所述的基于新型网络协议的网络层标识方式,最终构建多维资源的标识机制。
[0064]
通过建立细粒度度量与表征方法和标识机制,进一步支撑并实现新型智能计算业务所需的协同编排调度、确定性路由管控与互联可信共享能力。
[0065]
在编排管控层中,根据各计算业务的多维需求通过预设的智能编排调度模型得到资源编排调度和分级跨域管控决策,其中,多维需求包括各计算业务的细粒度资源编排、确定性路由管控以及服务质量保障等。
[0066]
本发明所述的计算业务为时延敏感型和计算密集型业务,相比于传统业务具备持续性长周期、突发性短周期等多元化特征业务,需要对基于基础设施层中各设备构建的动态感知多维资源池进行全域范围的分级多层次的按需编排和灵活调度,实现资源的极致弹性扩缩容,解决在满足各计算业务的差异化资源、能力需求与多维资源利用效率提升之间存在的矛盾。同时,互联网技术与通信技术深度融合网络云化、微服务化后的计算范式逐渐向无服务器计算发展。无服务器计算重点关注于函数而非容器本身,计算业务被拆解为多个无状态的函数并根据事件进行实时触发调用,应用服务也被部署到不同的物理位置,从而消除由位置引发的延迟问题,提升服务访问的性能。
[0067]
在资源抽象层中建立的细粒度度量与表征方法和标识机制中将服务触发的无服务器函数操作量作为智能计算业务请求资源和各设备提供资源的一个重要指标,以支撑多维资源的协同调度过程从“以资源为中心”转向“以服务为中心”。在此基础上,如图3所示,多维资源编排与调度机制制定方法包括以下步骤s101~s104:
[0068]
步骤s101:基础设施层中各设备采用上文构建的结合网络层和应用层的标识机制注册及通告各自的多维资源信息,以实现编排管控层对多维资源的动态感知。获取各设备上配置的函数操作所需的运行环境信息。
[0069]
步骤s102:将智能计算业务请求的无服务器计算业务拆解成若干无状态、细粒度表征的函数任务,将计算业务及其拆解出的函数任务构建dag(有向无环图)模型,并将各函数任务的执行顺序和需求用dag模型表示,其中,各函数任务的执行需求包括各函数任务之间的依赖关系或通信限制等。
[0070]
在一些实施例中,如果对应设备上没有配置函数操作所需的运行环境信息时,可以下载并配置环境或将对应函数任务调度到其他设备节点上。
[0071]
步骤s103:根据在步骤s102中获取的多维资源信息、各设备配置的函数操作所需的运行环境信息以及各函数任务的执行需求,以满足预设任务性能指标约束、dag模型约束为前提,利用预设的智能编排调度模型计算得到对应函数任务的编排调度决策,各设备根据得到的编排调度决策协同执行任务。同时,根据多维资源利用效率和智能计算业务服务质量评分等指标对智能编排调度模型进行联合优化。
[0072]
步骤s104:将根据调度决策处理计算业务得到的结果、数据以及智能编排调度模型的性能反馈给编排管控层并计算第一激励指标,根据第一激励指标激励各设备,以优化智能编排调度模型;其中,第一激励指标包括第一资源利用率和第一服务质量评分。
[0073]
基础设施层中各设备具有多维资源状态高频时变、网络拓扑结构复杂无序等特点,传统的网络转发模式无法满足海量业务端到端的差异化、精细化服务质量保障需求,同时,需要及时感知各设备之间的工作状态信息,上报并呈现全局态势,实现统一控制决策和数据灵活转发以确保各业务端到端高效连续处理。
[0074]
根据以上需求,本发明基于sdn数控分离技术、带内网络遥测技术int和确定性网络等技术制定确定性路由管控机制,其中,sdn全称为software defined network,软件定义网络,sdn是一种将网络控制功能与转发功能分离、实现控制可编程的新兴网络架构。sdn
采用集中式的控制平面和分布式的转发平面,两个平面相互分离,控制平面利用控制-转发通信接口对转发平面上的设备进行集中式控制,并提供灵活的可编程能力。如图4所示,包括以下步骤s201~s203:
[0075]
步骤s201:以粗粒度方式根据多维资源状态变化频率将每个域中的设备分为高频节点、中频节点和低频节点三类,并在域内引入三个虚拟汇聚节点分别管理三类设备。
[0076]
步骤s202:基于数控分离技术,在路由的数据面采用带内网络遥测技术和分段路由探针实时探测基础设施层中各设备之间的工作状态信息,并上传至路由的控制面,其中,工作状态信息包括链路时延和各设备工作负载;控制面采用时序卷积网络与图卷积网络相结合的算法,提取上一时刻基础设施层中各设备工作状态信息的时域信息的特征和基础设施层中各设备的拓扑信息的特征,并基于智能路由决策模型计算得到当前时刻的路由决策。
[0077]
步骤s203:云服务器获取执行相应路由决策后基础设施层中各设备之间的工作状态信息,并计算第二资源利用率和第二服务质量评分;根据第二资源利用率和第二服务质量评分构建联合损失优化智能路由决策模型。
[0078]
在步骤s201中,与传统网络仅关注通信资源状态相比,通算存学一体化融合系统将通信能力与计算、存储、智能多维资源结合,异构分布设备的多维资源在细粒度表征后更具有高度动态化特点,这也将导致路由通告频率飙升,形成巨大的网络承载压力。因此,将基础设施层中各设备按照资源状态变化频率划分为多个频率类别,构建分级分域管控架构,实现通告流量的有序控制。
[0079]
在一些实施例中,根据步骤s201,在建立的细粒度度量与表征方法和标识机制的基础上,采用两级路由,基于发布-订阅模式或定向通告模式,根据预先配置的变更门限值(如达到一定时间或事件触发),汇聚并通告更新基础设施层中各设备间和同类设备间粗粒度状态信息和/或细粒度状态信息,从而压缩路由表信息并避免路由振荡及收敛低效问题。
[0080]
在步骤s202中,通过根据多维资源状态信息和网络拓扑结构等信息获得对应的路由决策,以制定确定性路由管控机制。同时,采用基于“数据面带内探测-控制面智能预测”的思路构建时空范式下各设备之间工作状态的模型,以提升基础设施层中各设备工作状态感知准确性,避免突发流量造成网络震荡。
[0081]
在步骤s203中,边缘节点设备和移动终端设备调整业务流量使对应的多维资源利用率收敛至预设目标值,以实现跨域资源应急预留与高效利用的均衡。在模型的优化中,基于深度学习等技术利用自适应的确定性路由算法动态选择源宿节点间的最优传输路径,实现业务的端到端时延、抖动等指标的可预期、可规划。
[0082]
在一些实施例中,在步骤s203之前还包括:根据路由决策按照指定路径发送探测数据包,并获取路径中基础设施层中各设备之间的工作状态信息,其中,工作状态信息包括链路时延和各设备工作负载;在路径中基础设施层中各设备之间的工作状态信息不满足相应计算业务的需求的情况下,更新路由决策为其他空闲路由,以确保端到端传输质量。
[0083]
在一些实施例中,将基于各计算业务形成的智能资源通过区块链进行可信分享的实现方法步骤包括s301~302:
[0084]
步骤s301:由基础设施层中的各移动终端设备、各边缘节点设备和各云服务器组成区块链网络,共同维护分布式账本,并将各自的智能资源发布至区块链网络形成区块链
以区块(block)的形式进行存储。
[0085]
步骤s302:移动终端设备、边缘节点设备和/或云服务器请求查询区块链以获取智能资源,采用智能合约技术记录对应的交易数据,采用本地数据集对获取的智能资源进行更新适配,供移动终端设备、边缘节点设备和/或云服务器使用,并将更新适配后的智能资源重新发布至区块链网络中,以实现在区块链网络中共享。
[0086]
其中,本地数据集是由本地移动终端设备、边缘节点设备和/或云服务器收集、存储的各类数据,即这些数据可以是自己收集的,也可以是别的设备发送存储的,本地数据集至少包括本地移动终端设备、边缘节点设备和/或云服务器执行相应计算业务产生的工作状态信息和特定计算业务所需的运行信息,且本地数据集是动态更新的实时数据。
[0087]
如图4所示,展示了基础设施层中的各移动终端设备、各边缘节点设备和各云服务器请求智能资源的主要步骤,包括步骤s401~s406:
[0088]
步骤s401:移动终端设备、边缘节点设备和/或云服务器进行身份验证并发出所需的智能资源请求。
[0089]
步骤s402:移动终端设备、边缘节点设备和/或云服务器通过区块链网络获取符合要求的智能资源。
[0090]
步骤s403:移动终端设备、边缘节点设备和/或云服务器验证接收到的信息和事务,区块链网络采用哈希算法与存储对应智能资源的区块链的创建者达成协议。
[0091]
步骤s404:存储在区块链分类账中的交易触发相应的智能合约,并记录对应的交易数据。
[0092]
步骤s405:移动终端设备、边缘节点设备和/或云服务器利用本地数据集将获取的智能资源进行本地适配和再训练。
[0093]
步骤s406:移动终端设备、边缘节点设备和/或云服务器利用获取的智能资源执行相应计算业务。
[0094]
根据基于各计算业务形成的智能资源通过区块链进行可信分享的实现方法制定智能资源互联与可信共享机制,该机制在保障基础设施层中各设备的可信性以及传输数据的隐私安全基础上,解决传统网络中智能模型训练和推理过程因设备异构且资源有限造成的效率和性能难以提高的问题,同时智能资源可以在区块链网络中便捷分享,其他设备获取智能资源后,利用本地数据集对智能模型适配调整,即可使用。
[0095]
在一些实施例中,编排管控层还用于将基于各业务形成的智能资源通过区块链进行可信分享之后,最大化智能编排调度模型和智能路由决策模型的请求者和提供者的收益,最大化移动终端设备、边缘节点设备和云服务器的第三服务质量评分和第三资源利用率,最小化移动终端设备、边缘节点设备和云服务器的能耗,建立嵌入反馈机制,促进移动终端设备、边缘节点设备和云服务器分享各自生成或者优化得到的智能编排调度模型和智能路由决策模型。
[0096]
其中,基础设施层中的各移动终端设备、各边缘节点设备和各云服务器组成区块链网络,利用共同维护的分布式账本跟踪并使用加密机制进行交易,各移动终端设备、各边缘节点设备和各云服务器通过发布和/或请求智能资源以获得激励或支付相应成本,其中,各移动终端设备、各边缘节点设备和各云服务器获取的激励为各自的收益。
[0097]
在应用服务层中,示例性的,计算业务包括元宇宙业务、智能制造业务、自动驾驶
业务、智慧医疗业务等其他多样化智能计算业务。应用服务层在提供服务的同时,收集并评估对应服务的效用及性能,反馈至编排管控层中的各智能模型,不断优化智能模型,提升模型预测准确性。其中,服务性能评估的指标涉及多方面因素,示例性的,如qos(服务质量)、用户反馈的qoe(体验质量)、智能的质量等业务性能指标以及整个系统运维效率、多维资源使用率、设备能源消耗情况等运维成本指标。
[0098]
下面结合一实施例对本发明进行具体说明:
[0099]
以下一代移动通信技术的元宇宙业务为例,通算存学一体化融合系统能满足元宇宙对包括超强网络通信能力、超密集算力存力、超高性能泛在智能等在内的极致网络能力要求,具体来说包括以下四部分:
[0100]
元宇宙中的xr(extended reality,扩展现实)和触感业务协同、全息感知通信等功能的性能愿景是实现1ms端到端时延。通算存学一体化融合系统一方面将用户业务所需的多维资源和处理能力下沉到边-端侧,实现各类用户应用的极速编排及处理,另一方面通过确定性路由管控为此类时延敏感型业务提供端到端的传输时延保障。
[0101]
其次,元宇宙中的内容预测及分发、视觉触觉回放等功能要求实现全网泛在缓存以配合业务计算处理。通算存学一体化融合系统通过将多维资源精确表征感知和进一步虚拟化抽象,在全网范围内灵活融合使用分布式的算力和存力,使元宇宙中的内容存取、动作回放和任务处理可以在各类设备实时并行,并根据业务多样化需求实现资源弹性扩缩容,满足其计算存储能力灵活配合业务处理的需求。
[0102]
再次,元宇宙中的感知、渲染、交互、同步、模拟及预测等诸多关键功能都涉及ai(artificial intelligence,人工智能)训练与推理,通算存学一体化融合系统将智能作为一维基本网络资源,并实现智能资源灵活互联共享机制,通过分布式设备的协同训练提高ai学习效率,并利用本地数据集快速适配智能模型,实现元宇宙业务ai模型的高质量泛化。
[0103]
最后,元宇宙用户需要随时接入网络并确保移动性体验质量,同时业务也需要被即时响应计算处理并保障服务质量。通算存学一体化融合系统在实现全网范围多维资源深度融合、按需利用的基础上通过ai赋能其网络感知、编排调度、路由管控、信息共享和任务处理等全流程,确保用户服务实时流畅交互处理,满足兼具计算密集和时延敏感特征的移动元宇宙业务的极致性能需求。
[0104]
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质,诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
[0105]
综上所述,本发明提供一种通算存学一体化融合系统,基础设施层基于用户侧移动终端设备、边缘节点设备和云服务器以及对应的云-边-端网络,为通算存学一体化融合系统提供网络通信、泛在计算、分布式存储、智能学习等资源和基础能力。资源抽象层基于虚拟化技术利用预设表征参数对基础设施层中各设备及基于基础设施层中各设备形成的智能模型及数据构建动态感知多维资源池,实现基础设备与多维资源的灵活映射;编排管控层根据各计算业务需求利用智能编排调度模型得到调度决策,经云化、微服务化后的多维资源具备弹性扩缩容能力,满足不同业务对多维资源的差异化需求,提升泛在分布式资
源利用效率。基于数控分离技术获取各设备工作状态信息并由智能路由决策模型得到路由决策,实现对多维资源信息的确定性路由管控,提供确定时延、确定性时延抖动等确定性转发能力,满足多元差异化业务的端到端确定性服务质量保障。将基于各计算业务形成的智能资源通过区块链进行可信分享,在保障各设备可信性、传输数据隐私安全的基础上,提升智能模型训练和推理的效率,提升智能模型性能。本发明将网络与计算、存储和智能一体化融合,以满足计算密集型和时延敏感型业务对网络能力需求。
[0106]
进一步的,本发明建立了细粒度度量与表征方法和标识机制,实现对动态感知多维资源池中多维资源和能力的抽象度量和统一表征,同时兼容并完善现有的粗粒度表征方式和基于域名系统的标识方式,为在编排管控层中实现多维资源的编排调度、路由管控、智能互联等功能提供基础。
[0107]
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
[0108]
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
[0109]
本发明中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
[0110]
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:


1.一种通算存学一体化融合系统,其特征在于,包括:基础设施层,所述基础设施层包括用户侧移动终端设备、边缘节点设备和云服务器;资源抽象层,所述资源抽象层基于虚拟化技术利用多个预设表征参数对所述基础设施层中各移动终端设备、各边缘节点设备和各云服务器构建动态感知多维资源池,所述动态感知多维资源池包括网络资源、计算资源、存储资源以及智能资源,所述智能资源包括特定计算业务对应的智能模型和数据;编排管控层,所述编排管控层用于将各计算业务拆解为多个函数任务,构建有向无环图以表示各函数任务的执行顺序和需求;获取所述资源抽象层中的所述动态感知多维资源池,并结合各函数任务的执行需求利用预设的智能编排调度模型得到执行各计算业务的调度决策;以及,将所述基础设施层中各设备按照资源状态变化频率划分为多个频率类别,并分别设置虚拟汇聚节点进行管控,通过预设方法获取所述基础设施层中各设备工作状态信息并由预设的智能路由决策模型计算得到路由决策;并将基于各计算业务形成的智能资源通过区块链进行可信分享;应用服务层,所述应用服务层用于装载并提供多种计算业务。2.根据权利要求1所述的通算存学一体化融合系统,其特征在于,所述资源抽象层还用于在所述资源抽象层中构建所述动态感知多维资源池之后,实时获取所述动态感知多维资源池内多维资源的状态信息和各计算业务运行数据,通过预设的智能分析评估模块进行分析,得到所述动态感知多维资源池中多维资源的新表征参数。3.根据权利要求2所述的通算存学一体化融合系统,其特征在于,所述动态感知多维资源池中智能资源的新表征参数包括智能元数据、智能模型命中率和智能熵度量,其中,所述智能元数据包括智能的类型和版本;所述智能模型命中率表示对应智能模型预测准确性;所述智能熵度量的计算式为:其中,dl表示智能的变化,s表示智能的实际性能与预期性能之间的差异性;r表示物理量参数。4.根据权利要求1所述的通算存学一体化融合系统,其特征在于,所述资源抽象层还用于在所述资源抽象层中利用多个预设表征参数构建所述动态感知多维资源池之后,获取所述基础设施层的所述动态感知多维资源池,根据预设网络协议将所述基础设施层中各设备的多维资源状态信息生成第一报文进行注册和通告;根据所述预设网络协议将各计算业务的资源需求生成第二报文并进行注册和通告;以供所述编排控制层根据所述第一报文和所述第二报文生成所述调度决策和所述路由决策。5.根据权利要求1所述的通算存学一体化融合系统,其特征在于,所述编排管控层还用于在得到调度决策之后,将根据所述调度决策处理所述计算业务得到的结果、数据以及所述智能编排调度模型的性能反馈给所述编排管控层并计算第一激励指标,根据所述第一激励指标优化所述智能编排调度模型;其中,所述第一激励指标包括第一资源利用率和第一服务质量评分。6.根据权利要求1所述的通算存学一体化融合系统,其特征在于,在所述编排管控层中,通过预设方法获取所述基础设施层中各设备工作状态信息并由预设的智能路由决策模
型计算得到路由决策,还包括:基于数控分离技术,在路由的数据面采用带内网络遥测技术和分段路由探针实时探测所述基础设施层中各设备之间的工作状态信息,并上传至路由的控制面,所述工作状态信息包括链路时延和各设备工作负载;所述控制面采用时序卷积网络与图卷积网络相结合的算法,提取上一时刻所述基础设施层中各设备工作状态信息的时域信息的特征和所述基础设施层中各设备的拓扑信息的特征,并基于所述智能路由决策模型计算得到当前时刻的路由决策。7.根据权利要求6所述的通算存学一体化融合系统,其特征在于,所述编排管控层还用于在得到相应路由决策之后,所述云服务器获取执行相应路由决策后所述基础设施层中各设备之间的工作状态信息,并计算第二资源利用率和第二服务质量评分;根据所述第二资源利用率和所述第二服务质量评分构建联合损失优化所述智能路由决策模型。8.根据权利要求1所述的通算存学一体化融合系统,其特征在于,所述编排管控层还用于在得到相应路由决策之后,根据所述路由决策按照指定路径发送探测数据包,并获取所述路径中所述基础设施层中各设备之间的工作状态信息,所述工作状态信息包括链路时延和各设备工作负载;在所述路径中所述基础设施层中各设备之间的工作状态信息不满足相应计算业务的需求的情况下,更新所述路由决策为其他空闲路由。9.根据权利要求1所述的通算存学一体化融合系统,其特征在于,在所述编排管控层中,将基于各计算业务形成的智能资源通过区块链进行可信分享,还包括:由所述基础设施层中的所述移动终端设备、所述边缘节点设备和所述云服务器组成区块链网络,并将所述智能资源发布至所述区块链网络形成区块链进行存储;所述移动终端设备、所述边缘节点设备和/或所述云服务器查询所述区块链获取所述智能资源,并采用本地数据集进行更新适配;所述本地数据集为所述移动终端设备、所述边缘节点设备和/或所述云服务器执行特定计算业务产生的工作状态信息和所述特定计算业务所需的运行信息。10.根据权利要求9所述的通算存学一体化融合系统,其特征在于,所述编排管控层还用于将基于各业务形成的智能资源通过区块链进行可信分享之后,最大化所述智能编排调度模型和所述智能路由决策模型的请求者和提供者的收益,最大化所述移动终端设备、所述边缘节点设备和所述云服务器的第三服务质量评分和第三资源利用率,最小化所述移动终端设备、所述边缘节点设备和所述云服务器的能耗,建立嵌入反馈机制,促进所述移动终端设备、所述边缘节点设备和所述云服务器分享各自生成或者优化得到的智能编排调度模型和智能路由决策模型。

技术总结


本发明提供一种通算存学一体化融合系统,包括:基础设施层、资源抽象层、编排管控层和应用服务层。基础设施层包括各类基础设备;资源抽象层基于虚拟化技术利用预设表征参数对基础设备及基于基础设备形成的智能模型及数据构建动态感知多维资源池;编排管控层将各计算业务拆解为多个函数任务,构建有向无环图表示各函数任务的执行顺序和需求,结合各资源状态信息利用智能编排调度模型得到调度决策;通过预设方法获取各设备工作状态信息并由智能路由决策模型得到路由决策;将基于各业务形成的智能资源通过区块链可信分享;应用服务层用于装载并提供多种业务。本发明将网络与计算、存储和智能一体化融合,以满足计算密集型和时延敏感型业务需求。敏感型业务需求。敏感型业务需求。


技术研发人员:

谢人超 谢高畅 邹鑫 唐琴琴 吴双 刘云龙 文雯 冯立 杨煜天 李一男 黄韬

受保护的技术使用者:

北京邮电大学

技术研发日:

2022.09.20

技术公布日:

2023/3/24

本文发布于:2023-03-26 20:54:17,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/1/80326.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   多维   资源   智能
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图