1. 研究目的与意义

在全球信息量全球化的当今时代，人们逐渐将信息获取的方式从传统的书本等纸质查询方式往网络查询转移。

然而利用网络进行资料的收集依旧存在局限性，搜索引擎大多以关键字为检索依据，他们的检索范围基本上覆盖至整个网络，同时由于网络网页的重复性过高，通常导致了检索出的结果与用户的需求之间有一定的差异且部分检索信息存在重复，同时对于一些信息量密集的数据无法进行合理的发掘。

因此，网络爬虫随之诞生。

2. 课题关键问题和重难点

本课题的难点在于，通过运用python语言编写特定的爬虫程序，随后通过网络爬虫对目标高校网页信息进行爬取分类并存储进数据库中，然后对爬取信息进行可视化分析，获得目标高校不同职称的教师的研究方向、研究数量的数据图，并通过系统将其直观展示。

本次课题的核心为编写对应的爬虫爬取目标院校的教师研究方向的信息，将利用到python、mysql、html等方面的知识。

在对利用python编写爬虫进行了一定的学习之后，便需要寻找合适的目标院校网页，在对网页内容进行一定的分析后，将内容分为合适的部分，获取网页url和user_agent后，利用恰当的正则表达式匹配目标内容并链接数据库，将网页内容按分类存储于数据库中，接下来对存储内容进行可视化分析，制作相对应的图表，最后利用html制作对应的系统界面，将爬取内容和可视化结果按课题要求显示在系统当中。

3. 国内外研究现状（文献综述）

数据收集的意义：互联网和智能设备，大大增加了信息的获取能力。

像人民日报微博、丁香医生等媒体平台，基本都在实时发布疫情信息，更新速度非常快速，使得权威信息能够以最快的速度深入基层。

使得疫情传染程度、疫苗研发进度、各种法规发布都能立马被人熟知。

4. 研究方案

设计方案：1.查阅相关文献并深入了解本课题的主旨以及其功能的设计思路2.确定使用何种语言来完成系统。

3.确定系统的用户，根据用户情况的不同分析其不同的需求。

4.根据需求的不同来指定系统不同的功能，绘制功能结构图和数据库er图。

5. 工作计划

本课题主要研究基于网络爬虫的疫情期间人口流动信息采集系统，在整个过程中主要完成以下工作：1.了解目前python语言的发展现状和趋势，研究并分析该系统的目标与定位。

2.深入学习研究本课题所涉及的相关技术和理论知识，利用软件工程的的理论知识作为指导思想，分析系统的功能需求、性能需求和安全需求，并对该课题进行系统的总体设计。

3.根据需求分析、总体设计，去实现基于网络爬虫的疫情期间人口流动信息采集系统的开发。