1. 研究目的与意义（文献综述包含参考文献）

文 献 综 述

#160; 1.前言

#160;#160;#160; 当下是一个大数据的时代，我们每个人都参与其中。在大数据时代，将数据有效的检索并组织呈现出来有着很重要的意义。在实际生活中我们经常会使用像百度、google这些搜索引擎检索各种信息，但是这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求，搜索引擎所返回的结果包含大量用户不关心的网页。那么如何找到更精确找到自己所需的数据，解决问题需要的根本技术就是分布网络爬虫。

2. 研究的基本内容、问题解决措施及方案

1.拟研究或解决的问题

#160;#160;#160; 使网络爬虫高效灵活, 在主题网站中尽量全面的爬取信息，并且能够自动构造url，递归调用自身，开启多线程快速的爬取，准确提取有效信息，存储到数据库。