随着互联网的进一步普及和推广，特别是“微博”“微信”等网络社交软件的崛起，网络上的议题热门话题等得到传统媒体的响应和深入挖掘。微博、微信等都是互动及传播性极快的工具，它们的传播速度甚至远远超过了传统媒体。网络最大的特点就是开放化和集成化，你可以通过移动端（如手机、平板电脑等）、PC端等很多工具途径向网上发布消息或者从网络上获取信息。也因为网络的这些特点，它正改变着舆论格局，对社会的影响力与日俱增。

但是由于网络言论的开放化以及网民的良莠不齐，网络也成了谣言扩散，导致社会不和谐的重灾区，一些组织或个人会利用网络这个平台散布不良舆论，有些甚至事威胁到社会安定的虚假信息。他们依靠这些不良舆论或虚假信息来操纵网络民意，形成“网络暴力”。因此，有必要建立一个相关的网络舆论监控系统来维持“网络社会”的安定。

除此之外在现在的市场中，一家公司如果想了解自己的产品在市场的反响、客户的用户体验，除了发调查问卷，更多的还是从网上收集用户的反馈，但是网上的数据相对于简单的调查问卷要更多更复杂，因此必须安排一些人进行舆论监控，监控贴吧、论坛、微博、博客等等。有了用户的反馈，才能了解自己产品的优点缺点，才能改进自己的产品，以符合用户的需求，由此可见舆论监控十分重要。

但是经由人工在论坛上搜索某个特定的关键词，是一件特别费时费力的事清，而且因为要进行长期的舆情监控，所以还要定期去搜索。因此传统的由人工来进行一个个关键词的舆情监控就难以适应现在社会的发展速度。

Python代码简单明了，很适合根据实际情况快速修改代码。现在网络上的内容，布局变化非常的快，利用Python进行快速开发，如果是写不好可以再修改或者修改比较少，相对与其他语言来说更有优势。

利用Python爬虫构建一个简易的监控系统，用来定时去论坛搜索特定的关键词把搜索出来的帖子保存进数据库中，能给帖子打上标签 （重点关注，无关数据，已反馈等等）加备注，还能对帖子排重，一个帖子只显示一条数据，不会重复显。对于重点关注的帖子还能监控别人的评论数。

2. 研究的基本内容与方案

一、基本内容

1. 了解python语言及其书写方式和语法；

2. 了解爬虫系统及其设计方法；

4. 学习基于python爬虫的系统设计；