1. 研究目的与意义（文献综述）

2016年google公司研发出alphago围棋程序，其包括落子选择器和棋局评估器两个大脑，落子选择器采用监督学习的策略网络，在当前棋盘上预测下一步的最佳落子点。棋局评估器站在整个棋盘局面角度，采用价值网络对落子后对弈双方获胜的概率进行评判，由此辅助落子选择器进行落子选择。该围棋程序在与世界围棋冠军李世石的对弈中４：１的比分将其击败。此次围棋界的颠峰对决在网络和新闻媒体上引起了广泛关注，计算机博弈再次成为了人们关注的焦点。近年来，各种计算机博弈赛事，如：国际汁算机（棋类）奥林匹克大赛、全国大学生计算机博弈大赛相继产生，吸引了诸多计算机博弈爱好者Ｗ及相关专家和学者对计算机博弈的广泛研究，对计算机博弈的长足发展起到了重要推动作用。研究人员对计算机博弈的研究主要集中在下几种博弈项目：五子棋、六子棋、国际象棋、围棋等。

对于计算机博弈的研究，国外起步较早，且发展迅速并取得了价值非凡的成果。1956年mccarthy提出了α-β剪枝算法，该算法目前己成为计算机博弈领域广泛应用的经典搜索算法。1959年samuel等人研发出了一款跳棋程序，该程序把启发式搜索与策略理论相结合，使其可在对弈过程中不断地学习。该跳棋程序在被设计出的第毛个年头就成功战胜了美国跳棋冠军，由此向人们展示了其强大学习能力。1997年旧Ｍ公司研制出＂深蓝＂象棋电脑，并利用该象棋电脑战胜了当时世界排名第一的象棋大师卡斯帕洛夫。深蓝的胜利对计算机博弈发展具有非常深远的意义，其表明计算机博弈程序在博弈领域己经可Ｗ超越人类智慧。在国内计算机博弈被看做是高校师生的科研活动，参与的其他学术研究者较少，且起步较晚，因此相关学术研究成果较少，计算机博弈发展较为缓慢。所幸，近几年在以徐心和为主要代表的计算机博弈领域众多专家和学者的不断努力下，计算机博弈在国内也得到了较快发展。2006年由徐心和教授等人研制的＂棋天大圣＂象棋博弈程序，在参加＂浪潮杯＂象棋大赛和国际奥林匹克象棋大赛等众多比赛中都取得了不错的成绩。2007年在徐心和教授的组织、申请和创建下，计算机博弈专业委员会正式成立。该委员会致为于打造国内计算机博弈的学术、技术和竞赛交流平台，并通过每年举办一次博弈大赛来促进国内众多专家、学者及博弈爱好者的相互交流与探讨。2008年由陈朝营研发的象棋博弈程序＂象棋旋风＂在国际奥林匹克象棋大赛中获得冠军。虽然计算机博弈在国内起步较晚，但是随着各种计算机博弈赛事的成功举办及众多专家和学者的不断研究，我们相信在不久的将来，国内计算机博弈事业也会得到长久快速发展，并为计算机博弈理论研究及人工智能相关理论与实践研究贡献自己的力量。

五子棋是世界智力运动会竞技项目之一，是一种两人对弈的纯策略型棋类游戏，是世界智力运动会竞技项目之一，通常双方分别使用黑白两色的棋子，下在棋盘直线与横线的交叉点上，先形成5子连线者获胜。棋具与围棋通用，起源于中国上古时代的传统黑白棋种之一。主要流行于华人和汉字文化圈的国家以及欧美一些地区，是世界上最古老的棋。容易上手，老少皆宜，而且趣味横生，引人入胜；不仅能增强思维能力，提高智力，而且富含哲理，有助于修身养性。

2. 研究的基本内容与方案

一、 基本内容及目标

本设计将了解五子棋和围棋alpha-go 的基本规则、主流技术、学习算法现状及发展趋势。了解深度学习以及tensorflow 和keras框架。学习基于卷积神经网络cnn实现智能博弈的算法。完成前端五子棋对弈界面vue开发移动版和后端python服务器的搭建，配合完成五子棋人机对弈。

后端python服务器作为一个信息转发平台将系统各个组件连接起来；服务器接收视觉处理端的棋盘数据，并将其转发至算法端；算法端根据棋盘数据分析出下一步棋的走法数据，并将其发送到服务器；服务器接收数据，并将其转发至机械臂端，使机械臂完成下棋动作。服务器还需将棋盘数据发送到vue前端，使前端实时显示棋盘情况。

3. 研究计划与安排

第1-2周 确定选题，英文文献翻译

第3-4周 查阅文献，撰写开题报告

第5-10周 设计与实现

4. 参考文献（12篇以上）

[1]. 赵冬斌, 邵坤, 朱圆恒,等. 深度强化学习综述:兼论计算机围棋的发展[j].控制理论与应用, 2016,33(6):701-717.

[2]. zhao d, zhang z, dai y. self-teaching adaptive dynamic programming for gomoku[j]. neurocomputing, 2012, 78(1): 23-29.

[3]. sutton r s, barto a g. reinforcement learning: an introduction[m].cambridge: mit press, 1998.