边缘计算环境中基于AlexNet的低时延手写体数字识别方法研究文献综述
2020-04-15 18:02:34
1.1 研究背景
自2005提出云计算的概念以来,人们日常的生活与工作方式被彻底改变,在传统云计算模型中,数据生产者发送原数据到云中心,数据消费者向云中心发送使用请求,随后云中心将结果返回给数据消费者。与云计算一同飞速发展的还有物联网技术,旨在利用射频识别、无线数据通讯等技术构造一种全球物品信息实时共享的实物互联网。伴随着云计算与万物互联的飞速发展,网络边缘设备正在从以数据消费者为主的单一角色转变为兼顾数据生产者和数据消费者的双重角色,而网络边缘设备逐渐具有利用收集的实时数据进行模式识别、执行预测分析或优化、智能处理等功能,因此以云计算为中心的部分应用服务程序迁移到了网络设备,但云计算模型逐渐不能有效满足万物互联应用的需求,主要原因如下:
(1)直接将边缘设备端的海量数据发送到云端,导致网络带宽负载过大、移动设备和网络边缘设备的计算资源浪费;
(2)传统云计算模型的隐私保护得不到保障;
(3)万物互联网架构中的大多数边缘设备结点的能源有限,无线传输模块的能耗过大。
针对上述问题,考虑到边缘设备已具备计算能力,可以将应用程序的部分或全部任务从云中心迁移到边缘设备端执行,因而诞生了边缘计算模型(Edge Computing Paradigm)[1]。边缘计算是指在网络边缘执行计算任务的一种新型计算模型,其中边缘的下行数据表示云服务,上行数据表示万物互联服务,边缘(Edge)则是指从数据源到云计算中心路径之间的任意计算和网络资源。边缘计算具有诸多优势。在边缘计算模型中,虽然数据类型复杂多样,来自万物互联设备的感知数据急剧增加,但数据传输的性能得到了保障,既保证了处理的实时性又降低了云计算中心的计算负载。本研究专注于移动边缘计算场景下边缘智能的实现。
移动边缘计算(Mobile Edge Computing, MEC)是在接近移动用户的无线电接入网范围内提供信息技术服务和云计算能力的一种新型网络结构。利用移动边缘计算,可将计算密集型移动计算任务迁移到附近的网络边缘服务器,图1给出了MEC系统的架构[2]。移动边缘计算的较低延迟、较高带宽显著提高了服务质量和用户体验,是发展5G的一项关键技术。
图1 MEC系统架构
作为推动人工智能发展的关键核心技术,机器学习(尤其是深度学习和强化学习)已经迅速成为学术界和工业界关注的焦点。基于MNIST数据集[3]的手写体数字识别问题已经有了相当成熟的、基于深度学习技术的研究成果。作为经典的图像识别问题,卷积神经网络AlexNet通过适当调整参数,能够取得接近100%的分类正确率[4]。在实际生活生产应用中,为了应对深度学习模型对计算资源的大需求,常用的方式是将深度学习模型的训练和推理都部署在云端数据中心。在执行深度学习模型推理的时候,移动端设备将输入数据发送至云端数据中心,云端推理完成后将结果发回移动设备。然而,在这种基于云计算和云数据中心的推理方式下,大量的数据(如图像和视频数据)通过高延迟、带宽波动的广域网传输到远端云数据中心,将造成较大的端到端延迟以及移动设备较高的能量消耗。相比于面临性能和能耗瓶颈的基于云数据中心的模型部署方法,更好的方式是结合移动边缘计算技术,充分利用从云端下沉到网络边缘端的计算能力,从而在具有适当计算能力的边缘计算设备上实现低时延和低能耗的深度学习推理模型。从这一角度入手的研究就是边缘智能(Edge Intelligence)[5]。
1.2 国内外研究现状作为一个刚刚兴起的研究方向,边缘智能领域的研究尚待开垦。
目前对于移动端设备的低时延和低功耗的深度学习模型推理,一类面向移动终端高效执行的深度学习模型压缩与深度学习架构优化的方法被提出[6-10]。其中具有显著影响力的是联合学习(Federated Learning)[11],其架构如图2所示。在移动端,各移动设备利用自己所收集的数据完成局部模型的训练,边缘服务器通过模型集成将各个局部模型进行整合,得到全局模型。最后,全局模型再将自己通过下行传输分散给各个移动端。这一系列步骤反复进行,直到达到退出条件。联合学习虽能利用边缘计算的架构,但是模型的上传与下载依然会占据大量带宽,在通信状况不佳的链路上,该架构难以取得令用户满意的服务体验(Quality of Experience,QoE)。
图2 联合学习架构
除此之外,还有一些工作采取“向外扩展”(scale-out)的方法来克服终端所面临的性能与能耗瓶颈。例如,文献[12]通过模型分割这种优化策略来加速深度学习模型推理过程,能够灵活融合边缘服务器的强计算力与终端设备计算本地性的异构优势。但是,和基于联合学习的研究工作一样,“向外扩展”并不能显著地改善通信延迟对QoE的影响。
现有的工作并未完全地借助边缘计算架构上的优势。多数的研究成果是将分布式机器学习中的相关工作迁移至边缘计算环境中。因此,本课题从一个典型的人工智能应用出发,探索机器学习技术、尤其是强化学习技术在搭建边缘智能架构上的用途。
2. 研究的基本内容与方案
{title}2.1 研究(设计)的基本内容1. 前期知识储备
(1)了解边缘计算的基本概念;
(2)深入学习并掌握强化学习的相关知识;
(3)深入学习并掌握手写体数字识别所采用的深度学习技术。
2. 实现系统功能
(1)基于识别手写体数字常用的深度神经网络AlexNet,改进并给出基于边缘计算特征的新计算框架;
(2)搭建边缘计算仿真环境;
(3)设计评价指标;
(4)实现2-3个相似工作,根据评价指标比较各方法的优劣。
3.完成文档
完成整个系统功能的分析、设计、编码实现及调试、测试工作后,提供相应的软件系统的需求分析说明书,系统分析说明书,概要、详细设计说明书,代码设计说明和系统测试说明。
2.2 研究(设计)的目标
以AlexNet作为切入点,研究深度学习、强化学习等技术在边缘智能中的应用。具体地,探索分布式机器学习(Distributed Machine Learning)、多代理学习(Multi-agent Learning)等强化学习技术在搭建边缘智能架构上的用途。
2.3 拟采用的研究方法与技术路线
采用理论研究与编程实验相结合的方案进行研究,首先通过大量阅读相关文献,不断完善已建立的模型,通过实现这些文献涉及的算法设计本模型的求解算法。技术路线如下:
(1)文献精读与整理;
(2)项目组每周固定时间讨论各自的子任务进展,通过汇报共同学习,不断推进研究工作进度;
(3)模拟结果与理论分析结果相结合,相互排错,相互验证。
需要用到的技术和方法主要有:
(1)各类典型的优化理论和技巧[13][14]。例如凸优化、数值优化、搜索算法等。优化技术可以协助从理论或数值上给出所研究问题的最优解或近似最优解;
(2)强化学习技术[15]。强化学习帮助我们搭建一个能够根据环境的反馈调整自己的代理。
[1] 魏峻 and 冯玉琳, “移动计算形式理论分析与研究,”计算机研究与发展, pp. 129-139,2000.
[2] Y. Mao, C. You, J.Zhang, K. Huang, and K. B. Letaief, “A survey on mobile edge computing: Thecommunication perspective,” IEEE Communications Surveys Tutorials, vol. 19, no.4, pp. 2322–2358, Fourthquarter 2017.
[3] Y. LeCun and C.Cortes, “MNIST handwritten digit database,” 2010. [Online]. Available:http://yann.lecun.com/exdb/mnist/
[4] A. Krizhevsky, I.Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutionalneural networks,” Commun. ACM, vol. 60, no. 6, pp. 84–90, May 2017.
[5] X. Wang, Y. Han, C.Wang, Q. Zhao, X. Chen, and M. Chen, “In-edge ai: Intelligentizing mobile edgecomputing, caching and communication by federated learning,” 2018.
[6] F. N. Iandola, S.Han, M. W. Moskewicz, K. Ashraf, W. J. Dally, and K. Keutzer, “Squeezenet:Alexnet-level accuracy with 50x fewer parameters and lt;0.5mb model size,”2016.
[7] J. Wu, C. Leng, Y.Wang, Q. Hu, and J. Cheng, “Quantized convolutional neural networks for mobiledevices,” 2015.