1. 研究目的与意义（文献综述包含参考文献）

文 献 综 述 1.前言 当下是一个大数据的时代，我们每个人都参与其中。

在大数据时代，将数据有效的检索并组织呈现出来有着很重要的意义。

在实际生活中我们经常会使用像百度、google这些搜索引擎检索各种信息，但是这些通用性搜索引擎也存在着一定的局限性。

2. 研究的基本内容、问题解决措施及方案

1.拟研究或解决的问题使网络爬虫高效灵活, 在主题网站中尽量全面的爬取信息，并且能够自动构造url，递归调用自身，开启多线程快速的爬取，准确提取有效信息，存储到数据库。

2. 拟采用的研究手段（途径）参考网上开源的网络爬虫和各种网络爬虫相关的书籍、视屏等信息，学习了解网络爬虫运行机制，基本原理，根据所爬取的目标网站设计自己的爬虫，学习java语言，分布式环境的构建，urllib2，beautifulsoup的简单操作，程序编写、调试等。

3. 具体研究手段如下： 1）学习并掌握网络爬虫开发相关的语言和工具，了解分布式爬虫的原来并选择合理的实现方法。