论文总字数：16190字

摘 要

在如今互联网高速发展的时代，人与人之间的交流越来越紧密。从最开始的的发电报，送信，打电话，到如今的qq，微信视频语音聊天都与互联网技术的发展息息相关。互联网技术不仅仅承载了人与人之间的通信，也使得社会群体的发展发生了变化。各种交友软件成为了人们发表评论的主要平台，比如说微博，QQ，微信等一系列的社交应用。由于社交平台的多样化，产生了多样化的社交网络大数据。人们在社交平台上转发、评论或点赞等各种主观用户行为形成了大量用户数据，通过网络获得的数据反映出了人们的各种兴趣爱好和情感稳定性。所有数据涵盖的信息包罗万象，而社交的交互性是必不可少。

本文就是依据微博这个社交平台为例子，使用python语言，基于爬虫技术和搜索策略技术，爬取了一位名为“微博搞笑排行榜”的博主的用户数据，获取信息后，然后对用户数据进行提取，并对用户发表的评论进行情感分析，同时还提取了评论中的关键字，依据这些信息生成了词云，让人们更直观的了解用户数据。这种微博数据的爬取与分析有利于分析人们的情感倾向和言论，为后续的数据挖掘及舆情分析打下坚实的基础。

关键词: 社交网络；爬虫；数据；情感分析；社交群体

ABSTRACT

In the era of rapid development of the Internet, the communication between people is getting closer and closer.From the very beginning of the telegraph, mail, telephone, to the present qq, WeChat video and voice chat are closely related to the development of Internet technology.Internet technology not only carries the communication between people, but also changes the development of social groups.Various dating apps have become the main platforms for people to make comments, such as weibo, QQ, WeChat and a series of social applications.Due to the diversification of social platforms, a variety of social network big data has been generated.People's various subjective user behaviors such as forwarding, commenting or thumb up on social platforms form a large amount of user data, and the data obtained through the network reflects people's various interests and hobbies and emotional stability.All data covers a wide range of information, and social interactivity is essential.

This article is based on weibo this social platform as an example, using the python language, based on the crawlers and search strategy, and took up a blogger called "funny" list of user data, access to information, and then to extract the user data, and user's comments on the emotional analysis, but also extract the keywords in the comments, on the basis of these information to generate the word cloud, make people more intuitive understanding of user data.This crawling and analysis of microblog data is conducive to the analysis of people's emotional tendencies and comments, which lays a solid foundation for the subsequent data mining and public opinion analysis.

Key words: social network;The crawler.Data;Sentiment analysis ;Social groups

目 录

Abstract I

目 录 II

第一章 绪论 1

1.1课题研究背景及意义 1

1.2相关研究现状 1

1.3主要工作内容 2

1.4论文组织结构 2

第二章 相关技术背景 3

2.1网站类型和爬虫类型 3

2.1.1网站类型 3

2.1.2爬虫爬行策略 3

2.2常见的爬虫分类 3

2.2.1通用爬虫 3

2.2.2聚焦爬虫 4

2.3网页搜索策略介绍 5

2.3.1深度优先搜索策略 5

2.3.2广度优先搜索策略 5

第三章 系统需求分析 6

3.1系统功能需求分析 6

3.2系统非功能需求分析分析 7

第四章 系统设计 9

4.1系统总体架构 9

4.2开发环境介绍 9

4.2.1开发语言 9

4.2.2开发工具 10

4.3信息爬取模块的设计与实现 13

4.3.1社交网页登录 13

4.3.2社交网络内容爬取 14

4.4用户情感分析设计与实现 15

4.4.1评论过滤 15

4.4.2情感分析 15

4.4.3生成词云图 16

4.4.4可视化分析 17

4.5数据库设计 17

第五章 实验结果与展示 19

5.1界面模块 19

5.2功能演示 20

5.3技术的反思 22

第六章 总结与展望 23

6.1总结 23

6.2展望 23

致 谢 24

参考文献 25

第一章 绪论

1.1课题研究背景及意义

计算机技术的进步使人们的生活方式发生了诸多的改变，而社交网络的发展就是一个非常突出的例子。在当今的生活中人们越来越依赖社交网络，越来越多的人们都拥有各种社交网络平台，他们之间互相交流，互动，分享所见所闻，点赞评论。社交网络的英文名是SNS（Social Network Service）中文意思就是用户以网络为媒介来进行社交。而之后出现的BBS（电子公告牌系统）就是可以“群发”和“转发”的另一个新系统，它的出现使社交网络迈上了一个新台阶。在之后出现的开发工具如IM（即时通信）和Blogger(博客)，它们的出现是的我们的社交网络更加贴近生活。

剩余内容已隐藏，请支付后下载全文，论文总字数：16190字