摘 要

本文借助马尔科夫决策过程（简称MDP）算法针对无人机动态能耗如何管理才可达到最优化（最节省能量并最大程度完成任务）进行了模拟,并得出了一些给定情形下的最优策略，将多种情形下的最优化决策进行了比较得出结果，所得结果对于如何实现无人机动态能耗最优化具有重要的指导意义。

本文主要研究了策略迭代算法和值迭代算法的实现原理，研究了如何将无人机动态能耗过程中较为关键的变量抽象化为MDP的模型中的五元组并赋予MDP五元组实际的意义。使用MATLAB中MDPtoolbox工具箱中的mdp_policy_interation()函数得出在无人机的任意一种状态下无人机应当执行的最佳策略。最终以图表的呈现形式展现了改变不同变量的值会对状态价值函数产生何种影响，总结了无人机在MDP模型中的状态价值函数的变化规律。

研究结果表明：无人机所能飞行的地点数只有在完成任务后的回报与飞行航程有关时才会对最优价值函数产生影响。在无人机最大电量足够的时候，最优价值函数会随着最大电量的增加而变大，但是增加的趋势会越来越平缓。

本文的特色在于：将无人机这一目前比较热点的话题向下深入挖掘，所得的结果对实践有一定的指导意义；使用MDP算法解决无人机动态能耗问题也更加高效、更加直观。

关键词：无人机；马尔科夫决策过程；五元组；策略迭代算法；价值函数

Abstract

This article uses the Markov Decision Process algorithm to simulate how to manage the dynamic energy consumption of drones to achieve the optimization (save more energy and finish the task as well as possible) and gets some optimal strategies under given circumstances. Compare the optimization decisions in various situations to obtain the conclusion, and the results have important guiding significance for how to realize the dynamic energy optimization of UAV.

This acticle mainly studies the implementation principles of strategy iterative algorithm and value iterative algorithm, how to abstract the key variables in the process of dynamic energy consumption of drones into the five-tuple in the MDP model and point out the practical significance of the MDP five-tuple in the UAV model. And use the mdp_policy_interation() function in the MDP toolbox of MATLAB to get the best strategy that the drones should perform in any state designed for the drone in the model.

The results of the study show that the number of sites that drones can fly will only affect the optimal value function when the rewards of completing the task is related to the flight voyage. When the drone's maximum power is sufficient, the optimal value function will increase with the increase of the maximum power, but the increasing trend will become more gradual.

The feature of this article lies in the following: To dig the hot topic of drones deeper, the conclusion obtained have a certain guiding significance for practice. The use of MDP algorithm to solve the dynamic energy consumption problem of drones can be more effective and intuitive.

Key Words：UAV；MDP；five-tuple；policy iteration algorithm；value function

目 录

摘 要 I

Abstract II

第一章 绪论 1

1.1 研究背景与意义 1

1.2 国内外研究现状 1

1.3 本文研究内容 2

1.4 本文组织结构 3

第二章 MDP及MDP求最优解 4

2.1 MDP模型 4

2.1.1 马尔科夫性 4

2.1.2 马尔科夫过程 4

2.2 MDP五元组 5

2.3 策略 5

2.3.1 最优策略 5

2.4 价值函数 5

2.4.1 状态价值函数 5

2.4.2 行为价值函数 6

2.4.3 最优价值函数 6

2.5 Bellman方程 6

2.6 求解Bellman方程 7

2.6.1 值迭代算法 7

2.6.2 策略迭代算法 7

2.7 MDP的意义 7

2.8 本章小结 8

第3章 建立无人机的MDP框架 9

3.1 状态集S 9

3.1.1 地点集L 9

3.1.2 能量集E 9

3.2 决策（行为）集A 9

3.3 状态转移概率矩阵P 10

3.3.1 地点状态转移概率矩阵P(L,L’,A) 10

3.3.2 能量状态转移概率矩阵P(E,E’,A) 12

3.4 折扣因子γ 13

3.5 回报R(S,A) 13

3.6 本章小结 14

第4章 实验设计与实现 15

4.1 运行环境 15

4.1.1 MATLAB主要功能 15

4.1.2 MATLAB工具箱 15

4.2 实验数据设计 15

4.2.1 外生变量 15

4.2.2 自变量 16

4.2.3 因变量 17

4.3 主要模块 17

4.3.1 状态转移概率P的赋值 17

4.3.2 回报函数R的赋值 18

4.3.3 MDP值迭代函数 18

4.3.4 MDP策略迭代函数 18

4.4 本章小结 19

第5章 实验测试结果与分析 20

5.1 E-V 20

5.1.1 n为控制变量 20

5.1.2 r为控制变量 22

5.2 L-V 24

5.2.1 e为控制变量 24

5.2.2 r为控制变量 25

5.3 E-A 26

5.4 本章小结 28

第6章 总结与展望 29

6.1 总结 29

6.2 展望 30

参考文献 31

致 谢 32

第一章 绪论

1.1 研究背景与意义

无人驾驶飞行器（UAV），通常称为无人机，即没有驾驶员的飞机。无人机是无人机系统（UAS）的组成部分；其中包括无人机，地面控制器和两者之间的通信系统。 无人机的飞行可能具有不同程度的自主性：可由操作人员进行远程控制，也可由机载计算机自主进行控制。无人机装备有无线电通信设备，依靠无人驾驶的自动飞行控制程序，这些项目在全世界都得到了积极的发展。具体来说，无人机一般具有跟踪定位、导航、连接通信；低成本观测、检查监测；评估分析、智能处理事件等功能。无人机可进行实时现场分析并及时自动处理事件，实用性强；智能灵活，应急能力强；处理的事件较无线网络更为具体，可以处理难度系数更大的问题（地形复杂、光线阴暗、空间狭小），覆盖的范围较无线网络更为广泛。由于无人机的低成本、生存能力强、灵活机动和无人操作优势，无人机在民用和军事任务中都得到了广泛应用。军用领域中，无人机完成打击军事目标、信息中继、空中预警等多种军事任务；民用领域中，无人机具体可用于基础设施检查、探测地形、评估地面灾害、在船上自主着陆、监视交通、农业种植喷洒、人工增雨等各个领域^[1]。

无人驾驶飞机对未来战争有着重要的意义，且近期局部战争中派遣无人机执行作战任务的成功案例引起了世界各国对它的发展的高度重视^[2]。早期的无人机滞空时间短，飞行高度低，侦察监视面积小，不能连续获取信息，甚至会造成情报“盲区”，不适应现代战争的需要。无人机近几年来呈现出一种跨越式、跃迁式的发展。为了提高无人机的工作量和工作效率，一般需要无人机能够飞行较长航程，必须采用高效率的动力技术。从无人机的发展趋势来看，长航时高空、多功能、模块化、智能化已成为世界各国无人侦察机的发展的必然趋势^[3]。长航时高空无人机作用非常广泛，有时需要它在空中停滞非常长的时间来获取目标区完整的信息，为己方的决策提供准确、及时的数据，或者需要其及时处理紧急事件，这就要求它的能耗要能支撑得起它所要做的所有操作。由此可见，合理管理无人机的动态能耗变得异常重要，能耗问题成为研究无人机时不可回避的问题。

1.2 国内外研究现状

至今, 世界上已经有非常多的国家在研究无人机。其中美国无论在技术还是设计上早处于领先水平，并引领着世界无人机的发展方向；欧洲国家仅次其后；以色列起步相对较早，在战术无人机，长航时无人机方面具有一定优势；俄罗斯近年来地位有所回升^[4]。无人机想要侦察监视到更大范围的区域，就必须升高飞行高度，延长续航时间。所以无人机未来的发展必然偏向于发展长航时高空无人机。目前世界军事强国均在积极开展新型高空长航时大型无人机的研究，这类无人机飞行高度将逐步接近临近空间，并可在空中停留数周甚至数月的时间，为执行持久的情报收集和战场监视任务提供了非常好的途径^[4]。高海拔和长航时的无人机应用于高空侦察、拦截和攻击，美国的全球鹰和掠夺者无人机以及以色列突击队的无人机就是例证。中程无人机的作战半径在700到1000公里之间，主要是为中程侦察和作战效果评估设计的。美国空军D-21无人机和350无人机都是典型的中程代表。低成本、短程的小型无人机的行动半径不到350公里，起飞重量不足50公斤，如英国的凤凰、法国的马兰和以色列的侦察无人机，他们的飞行高度不超过3公里，飞行时间约为4小时。微型无人机的巡航速度更有限，每小时10至30公里，巡航时间不少于30分钟，小型无人机的航程通常低于1公里^[5]。