全文总字数：3348字

1. 研究目的与意义（文献综述）

1.1研究背景：

随着云时代的来临，大数据（big data）也吸引了越来越多的关注，尤其是对于我们这样的相关专业的在校学生而言，更是有着莫大的吸引力。随着海量数据的积累以及数据分析挖掘技术的发展，越来越多的大数据竞赛应运而生。通过举办大数据竞赛，可以汇集“数据科学家”为企业和组织机构解决数据科学相关技术难题，推动相关研究、技术和应用的发展。而大数据竞赛也是我们身为学生接触、了解并且学习大数据领域相关知识的强大动力以及检验自己相关领域的知识、运用大数据方面的知识与参与竞赛的其他队伍一较高下并在此过程中不断学习成长的绝佳平台。

但是，现在看来面临的一个很尴尬和很重要的问题是，目前还没有能够收集整合各种大数据竞赛相关信息的信息发布与通知系统，这就导致了学生如果想要了解大数据竞赛的相关信息时，不得不通过搜索引擎搜索相关信息并且逐个查看，在此过程中还要进行信息筛选、信息整理等繁琐的操作；更重要的是，手动搜集相关信息在时效上具有相当的被动性，为了保证不会错过重大比赛必须时刻保持着对相关信息的关注，这一切都是相当耗费时间精力的动作，因此可以看到这方面的需求还是比较迫切的。

2. 研究的基本内容与方案

2.1基本内容（功能）：

本次设计开发的同类网站查询系统大体分为三个模块，包括竞赛采集模块、竞赛发布推送模块、信息门户模块。系统整体架构如下：

1.竞赛采集模块功能为从各大公共信息平台和搜索引擎等爬取大数据竞赛的相关信息，并通过整理后存放在本地数据库中并对相关信息进行分析和提取，目标旨在收集数据并实现数据持久化

3. 研究计划与安排

(1)2020/1/13—2020/2/28：确定选题，查阅文献，外文翻译和撰写开题报告； (2)2020/3/1—2020/4/30：系统架构、程序设计与开发、系统测试与完善； (3)2020/5/1—2020/5/25：撰写及修改毕业论文；(4)2020/5/26—2020/6/5：准备答辩。

4. 参考文献（12篇以上）

[1] 杨毅. 基于web的教务新闻发布系统的设计与实现[d]. 电子科技大学, 2010[2] 崔庆才. python 3网络爬虫开发实战[m]. 人民邮电出版社, 2018. [3] 孙骏雄. 基于网络爬虫的网站信息采集技术研究[d]. 大连海事大学, 2014.[4] 夏大文. 基于web的信息发布系统的研究与实现[j]. 计算机与现代化, 2012(2):171-175.[5] luke welling. php and mysql web development,fourth edition[m]. 机械工业出版, 2015.[6] nicholas c.zakas. 李松平译. javascript高级程序设计[m]. 人民邮电出版社, 2012. [7] cay s.horistman, gary cornell. 陈浩鹏译. java核心技术 卷二[m]. 机械工业出版社, 2017.[8] adam freeman. 谢廷晟译. the definitive guide to html5[m]. 人民邮电出版社, 2014

[9] 方星星，鲁磊纪，徐洋. research and design on focused crawler of the network public opinion monitoring system[j]. 舰船电子工程, 2014.

[10] 王琨. 面向教育舆情的主题网络爬虫设计与实现[d]. 南华大学, 2015.