在线爬虫管理与监控系统开题报告
2020-02-18 16:15:26
1. 研究目的与意义（文献综述）
1．目的及意义
1.1 设计的目的
随着数据科学的迅速发展，诸如机器学习，人工智能等新兴技术极大地方便了人们的生活。来越多的应用涉及到大数据，而这些大数据的属性、包括数量、速度、多样性等等都是呈现了大数据不断增长的复杂性。从而，大数据的获取和分析在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。
2. 研究的基本内容与方案
2．基本内容和技术方案
2.1 设计的基本内容
依据任务书的要求，本设计拟完成以下任务：
3. 研究计划与安排
3．进度安排
| 时间 | 内容 | 备注 |
| 2019.3.15 | 确定论文主题方向，搜集论文相关资料 |
|
| 2019.3.22 | 整理相关资料，并针对选题的可行性、实用性编写开题报告 |
|
| 2019.3.30 | 根据整理得出的资料构筑论文大纲 |
|
| 2019.4.25 | 根据获得的数据和相关资料，开始进行课程设计，根据出现的问题对于原本的方案进行改进完善 |
|
| 2019.5.25 | 完成初步设计，寻求指导老师的意见，优化课程设计，查漏补缺，根据老师的建议进行修改 |
|
| 2019.5.30 | 最终定稿，对之前的工作进行归纳熟悉，准备对课程设计进行答辩 |
|
| 2019.6.8 | 进行论文的答辩 |
|
4. 参考文献（12篇以上）
4．参考文献
[1] 王虎,张骏. 管理信息系统(第2版)[m]. 武汉：武汉理工出版社，2007.
[2] 张树涛,谭海波,陈良锋,吕波.一种高效的分布式爬虫系统负载均衡策略[j/ol].计算机工程:1-7[2019-03-22]
[3]王芳,张睿,宫海瑞.基于scrapy框架的分布式爬虫设计与实现[j].信息技术,2019(03):96-101.
[4]邓万宇,刘光达,董莹莹.一种基于scrapy-redis的分布式微博数据采集方案[j].信息技术,2018(11):59-62.
[5]刘芳云,张志勇,李玉祥.基于hadoop的分布式并行增量爬虫技术研究[j].计算机测量与控制,2018,26(10):269-275 308.
[6]杨国志,江业峰.基于python的聚焦网络爬虫数据采集系统设计与实现[j].科学技术创新,2018(27):73-74.
[7]曹根源,董斌智.基于java的京东商品分布式爬虫系统的设计与实现[j].电子技术与软件工程,2018(16):184-185.
[8]华云彬,匡芳君.基于scrapy框架的分布式网络爬虫的研究与实现[j].智能计算机与应用,2018,8(05):46-50.
[9]董禹龙,杨连贺,马欣.主动获取式的分布式网络爬虫集群方法研究[j].计算机科学,2018,45(s1):428-432.
[10]李优. 基于hadoop的分布式网络爬虫设计与实现[d].西北大学,2018.
[11]樊宇豪. 基于scrapy的分布式网络爬虫系统设计与实现[d].电子科技大学,2018.
[12]程泽. 基于hadoop的分布式网络爬虫的设计与研究[d].成都理工大学,2018.
[13]杨娟. 一种基于storm平台的分布式数据爬取框架[a]. .中国职协2017年度优秀科研成果获奖论文集（一二等奖）
[14] gunjan h. agre ; nikita v. mahajan: keyword focused web crawler
[15] lan shan ; ying zhao ; juhong zhang:developing the system of web-data mining from chemical database based on internet
[16] sawroop kaur bal ; g. geetha:smart distributed web crawler
