1. 研究目的与意义（文献综述包含参考文献）

一、系统设计的背景与意义 网络爬虫是一个自动获取网页的程序，它为搜索引擎从网络上下载网页，是搜索引擎的关键组成部分。

他是一种按照一定的规则，自动的抓取网络信息的程序或者脚本。

传统的网络爬虫是从一个或者若干个初始的url开始，获得初始网页上的url,在获取网页的过程中，不断的从当前页面上获得新的url放入队列中，直到满足一定的条件之后便会停止。

2. 研究的基本内容、问题解决措施及方案

第一阶段： 熟练掌握python语言以及sql语言的使用方法，提高对网络爬虫概念的认知了解网络爬虫的基本工作机制，设计规划功能模块与流程图。

第二阶段： 利用网络查阅国内相关资料，利用数据库浏览大量的期刊与文献，进行分析与研编写需求分析，进行设计、编码编写、测试。

应用拟采用python实现。