基于云基础设施的增强现实大数据人工智能工作流管理外文翻译资料
2022-12-23 14:45:12
英语原文共 8 页,剩余内容已隐藏,支付完成后下载完整资料
基于云基础设施的增强现实大数据人工智能工作流管理
Hyun-Woo Kima,lowast;, Jong Hyuk Park b,lowast;, Young-Sik Jeong a,lowast;
a Department of Multimedia Engineering, Dongguk University, Seoul, Republic of Korea
b Department of Computer Science and Engineering, Seoul National University of Science and Technology, Seoul, Republic of Korea
摘要:人工智能工作流管理(human -intelligence workflow management, HIWM)是一种基于人类行为的快速增强现实(AR)服务提供的动态分布、处理存储工作和计算操作的方法,适用于下一代web环境。在HIWM中,根据元数据的定义和用户对AR服务的请求,执行预处理以最小化服务响应时间。基本上,为了处理AR服务的大数据,提出了一种基于构成云基础设施的桌面计算能力的动态作业分配方案。针对HIWM的最终AR服务,给出了HIWM性能与大数据处理时间关系的评价结果。结果表明,与现有方法相比,AR服务请求的处理时间缩短了40.56%。
关键词:云基础、人工智能工作流、AR服务、大数据
1 简介
近年来,随着计算技术的进步,信息和通信技术(ICT)环境不仅在一般的台式机上提供服务,而且在各种智能移动设备上也提供服务。随着这些智能移动设备中创建的数据量大幅增加,原本处于TB(太字节)级别的数据规模一直在增长,已经超过了PB(拍字节)和EB(艾字节)级别,并达到了ZB(泽它字节)级别。近年来,随着大数据处理应用的不断增加,相关研究在多个领域积极开展。随着数字信息数量的成倍增长,对源技术和利用的研究也同时进行。大数据不仅指海量的数据,还指从各类数据中提取价值,并将其作为信息进行分析、预测和利用的过程。特别是增强现实(AR)服务中的大数据需要云基础设施来进行高性能计算(HPC)和高吞吐量计算(HTC)处理。云基础设施是为处理大数据而设计的,不需要识别非标准化数据和标准化数据等特定类型的大数据。然而,对于在不同移动设备中创建的大规模数据的AR服务请求,处理速度有些不足。此外,现有的大数据处理算法和技术,无论数据类型如何,都以相同的方式处理所有数据。因此,来自分布式存储的数据收集和密集型服务操作的性能由于工作负载过重而延迟。
本文将人工智能工作流管理(human-intelligence workflow management, HIWM)作为一种基于人的行为,在多种智能移动设备上动态分布、处理存储工作和计算操作的方法,为下一代web环境的应用提供快速AR服务。在HIWM中,根据元数据的定义和用户对AR服务的请求,执行预处理以最小化服务响应时间。此外,云基础设施是在桌面中构建的,用于密集的工作处理。综上所述,为了处理AR服务的大数据,提出了一种基于构成云基础设施的桌面计算能力的HIWM方案。针对HIWM的最终AR服务,给出了HIWM性能与大数据处理时间关系的评价结果。结果表明,与现有方法相比,AR服务请求的处理时间缩短了40.56%。
本文由以下几部分组成。第2部分研究了基于云基础设施的大数据存储机制和工作流管理。在第3部分中,我们解释了根据HIWM对元数据的定义和用户对高级AR服务的请求来最小化服务响应时间的预处理机制,以及存储工作的动态管理和快速提供AR服务的计算操作。在第4部分中,讨论了与HIWM应用的框架设计有关的问题,并在第5部分中具体说明了与实现HIWM有关的问题。第6部分对现有的大数据处理技术进行了描述,并对最终AR服务中HIWM性能与大数据处理时间关系的评价结果进行了说明。给出了与现有方法在处理时间与AR服务请求比例上的比较和评价结果。最后,在第7节中,提出了本研究的结论和未来研究的子任务。
2 相关工作
在本节中,阐述了现有的基于云基础设施的大数据存储技术,以及它们在工作流管理方面与我们研究的相关课题的优缺点。首先,现有的大数据存储技术及其描述如表1所示。
大数据存储技术 |
描述 |
Ceph(分布式文件系统) |
Ceph为分布式文件系统(DFSs)中的大数据存储提供了元数据的动态分布和动态分区。虽然在DFSs中提供了数据复制、故障检测和恢复功能,但是应该改进数据响应时间的延迟。 |
GFS(Google File System, 谷歌文件系统) |
该系统将大数据分割成查克单元进行存储,并对分割后的数据进行冗余存储。无论数据类型如何,数据都是根据输入/输出操作和块大小存储的。由于该系统不识别AR服务所需的特定类型,而是优先存储大数据,因此延迟了AR服务响应的AR数据加载。 |
HDFS(Hadoop Distributed File System, Hadoop分布式文件系统) |
该系统集成了独立分布的桌面存储资源来存储大数据。可以通过添加新的服务器来自动扩展存储,而不需要额外的工作,比如服务器端挂载。该系统不适合异步、时断时续的数据计算和处理操作,如交互AR服务。本文集成了分布式桌面资源,对AR服务请求进行响应所需的数据计算,使存储数据的响应时间最小化。 |
RISBD |
这是一种使用分布式桌面构建云基础设施的大数据存储技术。该技术利用分布式桌面提供了高资源可用性。但是,存储数据请求的响应时间会延迟。云基础设施使用分布式桌面构建,并根据用户的数据请求进行预处理,以最小化响应时间延迟。 |
表1 现有的大数据存储技术
在云基础设施中,工作流可以分为需求驱动的资源[16]、事件驱动的资源[16]和流行驱动的资源[17]方法,用于提供具有存储、中央处理器(CPU)和内存等存储和计算能力的资源。需求驱动的资源使用网格内的组合并提供静态资源。此工作流方法通过根据资源使用级别添加或重新移动计算实例来增加或减少分配给用户服务的资源。在一般情况下,当系统在一定时间内以临界值运行时,资源会增加。但是,某个时间的引用值的定义是模糊的,并且当突然请求某个工作负载时,这种方法不起作用。
事件驱动的资源是适合季节性特征的工作流,如圣诞节和新年假期或预期的事件,并添加或删除某些基于时间事件的存储和计算实例。该工作流方法通过基于资源请求预测的预处理来添加存储和计算实例。当预测失败时,这种方法会造成严重的资源浪费[18-20]。
受欢迎程度驱动的资源基于用户经常请求的互联网搜索和流行需求来创建实例。当资源请求的预测不正确时,此工作流会导致有问题的资源浪费,事件驱动的资源也是如此。在提出的管理方案中,使用分布式桌面构建云基础设施,并将存储和计算操作分配给各个桌面。为了获得存储和计算等资源的高可用性,可以根据性能通过分层存储和计算资源(如CPU、内存、存储等)来执行集群。通过对动态作业的集群、存储和计算操作的性能,根据AR服务工作请求将分布分配到云基础设施中的桌面[18-20]。
3 HIWM方案
本节将介绍为提议的HIWM实现AR元数据、资源节点元数据和动态工作流的方法。
3.1增强现实技术元数据
将AR数据存储在分布式存储库中用于AR服务的存储位置信息和用于标识服务的元数据,如表2所示。AR数据基于块大小进行分割(本文中为64mb)。根据表2所示的元数据,为AR服务索引了相邻的AR数据。
属性 |
内容 |
sid |
扩展服务ID |
type |
增强现实数据类型(例如txt、视频、音频等) |
location |
增强现实数据存储资源节点的IP信息 |
sdc(split data count, 分裂数据计数) |
增强现实数据分割子数据的个数 |
pil(path information list, 路径信息表) |
子数据的位置信息划分为多个sdc |
rdl(redundant data list, 冗余数据列表) |
pil的子属性,它是那些存储冗余的分割数据的位置信息 |
表2增强现实元数据的组件
3.2资源节点的元数据
动态工作分配集中于云基础设施中具有不同ip的台式机的计算能力。本例中使用的资源节点元数据如表3所示,并基于元数据提供了简单的动态工作管理功能。
IP |
资源节点IP |
Port |
资源节点端口 |
Role |
资源节点根据角色被划分为增强现实数据:执行存储工作的节点和执行计算操作的工作节点 |
Path |
共享资源节点存储的位置 |
Ji(job information, 工作信息) |
与数据存储和复制相关的作业信息状态 |
Si (storage information, 存储信息) |
存储信息,例如资源节点允许存储的总大小、剩余数量和使用量 |
hi (host information, 主机信息) |
关于资源节点的CPU和内存共享的信息 |
State |
工作状态信息,指示作业的等待、操作和停止 |
Count |
总工作数目,包括运行中的工作及等待的工作 |
As (allow size, 允许大小) |
资源节点允许存储的总大小 |
Rs (residual size, 剩余大小) |
可用作允许大小的剩余存储的大小 |
Us (usage size, 使用大小) |
用于允许大小的存储的大小 |
CPU |
资源节点的CPU使用情况 |
Memory |
资源节点的内存使用情况 |
表3资源节点元数据的组件
3.3人类智能工作流管理
提出的HIWM利用AR元数据和资源节点元数据,根据用户的请求提供预处理机制,以最小化服务响应时间。它动态地将希望实际存储的AR大数据和计算AR服务的操作分配给各个桌面。预处理机制用于收集AR服务的分布式存储中的AR数据。这些存储的增强现实数据由个人台式机传输,并在为个人用户提供服务时收集。在这种情况下,实际的AR数据是根据AR服务请求传输的,执行图1所示的集群化。分步聚类的内容如下:
步骤1:分析用户请求的sid的位置、sdc、pil和rdl。
步骤2:根据sdc的分片次数检查pil的响应时间(不包括先传输的分片AR数据)。执行查找相邻空闲桌面(FAID),它根据基于ip的AR服务请求位置查找相邻空闲桌面。
步骤3:将pil的响应时间与FAID的响应时间进行比较,如果FAID的响应时间较短,则将通过FAID的性能发现的AR数据复制到桌面上。添加sid将AR数据通过FAID复制到集群的桌面。
图1 HIWM预处理
当第一个分割的AR数据被传输后,集群中的桌面AR数据将被传输到最小化AR服务响应时间的旁边。AR服务的动态作业分配将资源节点划分为具有不同角色的增强现实数据节点(ARDN )和工作节点(WN)。这些资源节点的角色根据AR服务的工作请求进行集群,如图2所示。分步聚类的内容如下:
步骤1:设置用户输入的聚类数量。
步骤2:执行查找相邻节点(FAN),它根据所设置的集群数量查找相邻节点。在这种情况下,将使用云基础设施中的桌面的性能(大小存储、CPU利用率、内存利用率)和距离(ACK响应时间)找到相邻节点。
步骤3:将通过FAN找到的节点添加到集群列表(CL)。
步骤4:对所有节点执行步骤2和步骤3,然后继续执行步骤5。
步骤5:执行update center point (UCP),根据添加到单个集群的节点移动到新的中心点
步骤6:通过检查集群可用性(CCA)来判断是否要额外执行集群。在本例中,如果更改了集群的中心点,则执行其他集群并继续执
剩余内容已隐藏,支付完成后下载完整资料
资料编号:[20855],资料为PDF文档或Word文档,PDF文档可免费转换为Word