论文总字数：23851字

摘 要

自篮球运动在世界各地传播开展以来，越来越多的人加入到这项运动中，并为职业化的篮球联赛提供了生长的土壤，而职业联赛中，“得贤将者，兵强国昌。”对于比赛胜负影响较大的因素之一就是各篮球队球员的实力。因此，通过对NBA球员比赛中历史数据的提取分析，根据这些历史数据可以量化NBA球员对一场比赛的影响力，进而对即将比赛的两支篮球队的胜负进行大致的预测。球员数据分析系统旨在以网络爬虫的数据获取方式，运用数据清洗及数据可视化技术帮助球队对比赛概况进行研判，并方便教练和篮球爱好者了解比赛详情和球员的表现情况。

在阅读了解了基于python的网络数据爬取技术的研究，以及篮球等竞技运动的数据可视化分析研究，我们发现现有研究少有既关注球员比赛数据的提取和统计又对所爬取的数据进行整理和分析研究。

针对所了解的上述问题，本课题将数据挖掘技术，数据分析技术，大数据技术等计算机科学领域的技术研究方法与竞技体育运动研究相结合，使用网络数据提取技术及数据清洗技术来对NBA职业比赛赛场的历史数据进行采集与整理，并通过数据可视化技术将整理后的数据以简单明了的方式呈现出来。通过网络数据提取，可以将互联网上所提供的各个球员的比赛数据自动获取并保存下来，当成功提取到数据内容后，进行数据清洗，将多余的及无关的信息排除在外。最后，整理过后的数据我们会以图表等形式来呈现大量抽象的比赛数据，使用更加直观的视觉效果以方便用户对瞬息万变的球场信息进行认知与理解。

关键词:Scrapy框架，数据爬取，数据分析，数据可视化

Abstract

Since the spread of basketball all over the world, more and more people have joined in this sport, which has provided the soil for the growth of professional basketball league. In professional basketball league, "a good player will be a strong player". One of the most important factors affecting the outcome of a game is the strength of the players on each team. Therefore, through the extraction and analysis of the historical data in NBA players' matches, the influence of NBA players on a game can be quantified according to these historical data, and then the victory and loss of the two basketball teams that will compete can be roughly predicted. The player data analysis system aims at using the data acquisition method of web crawler, using data cleaning and data visualization technology to help the team to study and judge the general situation of the game, and facilitate the coaches and basketball fans to understand the details of the game and the performance of the players.

After reading and understanding the research on the network data crawling technology based on Python and the data visualization analysis research on competitive sports such as basketball, we found that few existing studies not only focus on the extraction and statistics of players' game data, but also organize and analyze the crawling data.

According to know the above problem, this topic will be the data mining technology, data analysis technology, big data technology such as computer science and technology research in the field of method combined with competitive sport research, using the web data extraction and data cleaning technology to the NBA game history data acquisition and processing, And through the data visualization technology will be sorted out the data in a simple and clear way. Through network data extraction, the match data of each player provided on the Internet can be automatically obtained and saved. When the data content is successfully extracted, the data will be cleaned to exclude the redundant and irrelevant information. Finally, after sorting out the data, we will present a large number of abstract match data in the form of charts and other forms, and use more intuitive visual effects to facilitate users' cognition and understanding of the ever-changing information of the course.

Keywords: Scrapy framework, data crawling, data analysis, data visualization

目 录

摘 要 I

Abstract II

第一章 绪 论 1

1.1 研究背景及意义 1

1.2国内外研究现状 1

1.3主要研究内容 2

1.4 论文组织结构 2

第二章 相关技术介绍 3

2.1 与研究有关的篮球知识 3

2.2 网络基础知识 3

2.3 网络数据提取 4

2.4 Scrapy爬虫框架 5

2.5 Matplotlib数据分析及可视化 6

2.6 本章小结 6

第三章 需求分析 8

3.1 系统功能需求 8

3.2 系统非功能性需求分析 8

3.3 本章小结 9

第四章 系统设计 10

4.1 系统总体功能设计 10

4.2基于Scrapy框架的NBA球员历史数据提取模块设计 11

4.2.1 NBA球员数据网站结构分析 11

4.2.2数据提取模块结构设计 12

4.3基于MySQL的数据存储模块设计 14

4.3.1系统数据库逻辑基础 14

4.3.2系统数据库具体设计 15

4.4基于Matplotlib的数据可视化分析模块设计 16

4.5本章小结 16

第五章 系统实现与测试 17

5.1 系统实现工具与环境 17

5.1.1 系统开发工具 17

5.1.2程序开发所用的软硬件环境 17

5.2 核心代码分析 17

5.2.1 数据提取模块代码 17

5.2.2 数据可视化分析代码 18

5.3数据可视化分析结果展示 20

5.3.1 数据爬取结果展示 20

5.3.2 数据可视化结果分析 20

5.4 系统测试 22

5.4.1数据爬取测试 22

5.4.2数据存储测试 22

5.4.3数据可视化测试 23

5.5 本章小结 24

第六章 总结与展望 25

6.1 总结 25

6.2 展望 25

致 谢 26

参考文献 27

第一章 绪 论

1.1 研究背景及意义

自篮球运动在世界各地传播开展以来，越来越多的人加入到这项运动中，并为职业化的篮球联赛提供了生长的土壤，而职业联赛中，“得贤将者，兵强国昌。”对于比赛胜负影响较大的因素之一就是各篮球队球员的实力。因此，通过对NBA球员比赛中历史数据的提取分析，根据这些历史数据可以量化NBA球员对一场比赛的影响力，进而对即将比赛的两支篮球队的胜负进行大致的预测。球员数据分析系统旨在以网络爬虫的数据获取方式，运用数据清洗及数据可视化技术帮助球队对比赛概况进行研判，并方便教练和篮球爱好者了解比赛详情和球员的表现情况。

在阅读了解了基于python的网络数据爬取技术的研究，以及篮球等竞技运动的数据可视化分析研究，我们发现现有研究少有既关注球员比赛数据的提取和统计又对所爬取的数据进行整理和分析研究。

剩余内容已隐藏，请支付后下载全文，论文总字数：23851字