1. 本选题研究的目的及意义

人工智能是计算机科学的一个重要分支，致力于使计算机系统能够执行通常需要人类智能的任务，例如学习、解决问题和决策。

游戏作为一种复杂的模拟环境，为人工智能的研究提供了理想的测试平台。

在游戏中，智能体需要感知环境、做出决策并采取行动，以实现特定目标。

2. 本选题国内外研究状况综述

强化学习和游戏ai是近年来人工智能领域的热门研究方向，国内外学者在该领域展开了大量的研究工作，并取得了一系列重要的成果。

1. 国内研究现状

国内学者在强化学习和游戏ai领域的研究起步相对较晚，但近年来发展迅速。

3. 本选题研究的主要内容及写作提纲

1. 主要内容

1.深入研究pacman游戏规则，分析其状态空间、动作空间和奖励机制，为强化学习算法的应用奠定基础。

2.对比分析几种经典强化学习算法（如q-learning、sarsa、dqn等）在pacman游戏环境中的性能表现，包括学习效率、收敛速度、泛化能力等方面。

4. 研究的方法与步骤

本研究将采用实验研究方法，结合理论分析和模拟实验，对强化学习在pacman游戏中的应用进行深入探索。

主要步骤如下：
1.准备阶段:深入学习强化学习相关理论知识，包括q-learning、sarsa、dqn等算法的原理、优缺点和适用场景。

同时，熟悉pacman游戏规则，分析其状态空间、动作空间和奖励机制。

5. 研究的创新点

本研究的创新点在于将强化学习算法应用于pacman游戏，并针对游戏的特点设计改进的算法，以提高智能体的游戏性能。

具体创新点如下：
1.状态空间表示的改进:针对传统方法使用原始游戏画面作为状态输入效率低下的问题，本研究将探索使用卷积神经网络提取游戏画面特征，以构建更紧凑、更有效的状态空间表示，提高智能体的感知能力。

2.奖励函数设计的优化:针对传统方法只考虑游戏得分作为奖励信号不够全面的问题，本研究将探索引入对敌人距离、剩余豆子数量等因素的奖励，以引导智能体学习更灵活、更智能的游戏策略。

6. 计划与进度安排

第一阶段 （2024.12~2024.1）确认选题，了解毕业论文的相关步骤。

第二阶段（2024.1~2024.2）查询阅读相关文献，列出提纲

第三阶段（2024.2~2024.3）查询资料，学习相关论文

7. 参考文献（20个中文5个英文）

[1] 刘全,赵登吉,陈恩红.深度强化学习的挑战与发展[j].电子学报,2020,48(07):1361-1374.

[2] 谭冯,李智勇,王俊超,等.基于深度强化学习的智能游戏研究综述[j].计算机科学,2022,49(01):1-12.

[3] 张万鹏. 基于强化学习的游戏ai关键技术研究[d].华南理工大学,2021.