论文总字数：21855字

摘 要

如今网易云音乐已经成为当今热门的音乐媒体,民谣并不是现代人中主流的音乐,但是它的热度却不可轻视,在当今信息轰炸的互联网中,它却受到大量的关注。并且有很多民谣歌手也受到了很多的关注,以及收获了大量的粉丝。

本文主要讲述了针对针对“网易云音乐”部分民谣歌词的数据分析工作，主要分为以下几个步骤：

首先，要对研究流程进行需求分析，分析需要进行研究的流程以及是否可行。其次，开始整体研究的过程：第一步：使用网易云官方的API对微博进行数据的抓取。然后，对歌词的文本进行分类标注，再进行一些数据处理，包括以下内容，去掉一些没有意义，对情感分析时没有影响的词汇；第二步：使用IDA算法进行主题的分类，然后使用SnowNLP对歌词中的一些关键词进行情感上的分析。第三步，针对分析的结果，最后使用powerBI进行报表的展示。

关键词:网易云音乐、爬虫、文本情感分析、数据挖掘

Analysis of music lyrics based on PowerBI Net Easy Cloud

Abstract

Today's Net-A-Cloud music has become a popular music media, ballads are not the mainstream music of modern people, but its popularity can not be taken lightly, in today's information bombing of the Internet, it has received a lot of attention. And there are a lot of folk singers have received a lot of attention, as well as a lot of fans. This article mainly describes the data analysis for the lyrics of some ballads for "Net-a-Cloud Music", which is divided into the following steps: First, a needs analysis of the research process is conducted to analyze the process that needs to be studied and whether it is feasible. Second, start the process of overall research: the first step: using NetEase Cloud's official API to crawl the micro-blog data. Then, the text of the lyrics is classified and labeled, and then some data processing is done, including the following, removing some meaningless words that have no effect on emotional analysis; The third step, for the results of the analysis, finally use powerBI for the presentation of the report.

Keywords: Web crawler; Distributed system; Big data; Search engine

目录

摘 要 I

Abstract II

目录 III

第一章 绪 论 1

1.1 背景介绍及意义 1

1.2 国内外现状 1

1.3 主要研究内容 2

1.4 本章小结 2

第二章 开发相关技术介绍 3

2.1 数据收集技术介绍 3

2.1.1 Python简介 3

2.1.2 Python爬虫 3

2.1.3 Scrapy爬虫框架 3

2.2 数据处理技术介绍 5

2.2.1 MongoDB 5

2.2.2 Numpy 6

2.2.3 Pandas 6

2.3 数据分析技术介绍 7

2.3.1 jieba分词 7

2.3.2 NLTK 7

2.3.3 小结 7

2.4 数据可视化技术介绍 7

2.4.1 PowerBI 7

2.4.3 matplotlib 8

2.4.4 pyLDAvis 8

2.4 本章小结 8

第三章 需求分析 9

3.1 可行性分析 9

3.2 需求分析 9

3.3本章小结 9

第四章 研究流程设计 10

4.1 研究总体流程设计 10

4.2数据库设计 10

4.2.1 实体分析 10

4.2.2数据库设计 10

4.3本章小结 13

第五章 研究的具体步骤 14

5.1 开发环境介绍 14

5.2 具体研究 15

5.2.1 数据获取 15

5.2.2 数据持久化存储 16

5.2.3 数据预处理 17

5.2.3 数据分析 20

5.2.4 数据可视化展现 24

5.2.5 本章小结 32

第六章 总结与展望 33

6.1 本文主要内容总结 33

6.2 存在问题及未来研究展望 33

致谢 34

参考文献 35

第一章 绪 论

1.1 背景介绍及意义

随着计算机服务发展的推进,每个用户每天都会在互联网上产生大量的数据,当今社会对每首歌曲质量要求也是与日俱增,听歌已经从例如mp3之类的物理设备转为在因特网上通过app过着网站进行收听,并且互联网网速的改进和大量普及,也一定程度上让人们歌曲的收听从互联网扩展至手机,为了应对各种变化出于研究又或是商业的目的,人们对互联网上数据中所表达出来的情感倾向渐渐产生了愈来愈浓厚的研究兴趣。

尽管民谣一种小众音乐,但是他在各个年龄层以及阶层的人群当中都十分流行,它和追求品味高雅具有艺术感而创作的歌曲不同,但是也是需要一定程度上的音乐修养而创作的作品。民谣具有广泛性,因为大多数听者并不具备乐理,但也可以很高的享受民谣带来很好的体验感。因此,在中国，民谣广泛流传。

本研究是通过数据挖掘的算法来分析中国民谣歌手的歌词情绪,首先要使用scrapy抓取网易云民谣歌手的所有歌曲歌词,对数据进行分词以及去掉一些停用词,再使用一些自然语言处理算法来挖掘出民谣歌词的分类以及主题和情绪,最后使用powerBI进行可视化的展示。本研究的结果可以为民谣歌手提供有效的参考在歌词创作以及歌曲选题方面,推动了民谣歌手在创作领域的进步,也为听众可以提供更多有艺术性的民谣歌曲。

1.2 国内外现状

请支付后下载全文，论文总字数：21855字