基于Python的美团网数据挖掘与分析文献综述
2020-04-14 17:18:58
大数据时代的到来使得数据获取和处理需求快速增长,基于Python的爬虫技术已成为获取数据工具的研究热点之一。本文以美团网商家数据挖掘为例,介绍Python爬虫技术、数据分析过程并创建可视化展示页面,为用户提供商品搜索和推荐功能。美团网作为一家致力于提高生活服务的平台,以其出色的网络经营模式和良好的口碑,受到越来越多消费者的认同。面对类型众多的的商家,若能快速选择符合消费者需要的优质商家,可以使消费最大合理化。
数据挖掘是对数据中暗示的、未知的可能有用的信息进行全面的取出,已经发展成为了一种专业活动,这一技术自十年前提出以来,引起了许多专家学者的广泛关注,并且在实际的研究过程中把数据挖掘用到了各个领域,并且取得了良好的社会效益,以此可以看出数据挖掘技术在现实中有着广泛的应用前景和开发前景。
经过多年的发展,数据挖掘研究领域成果颇丰,已经有了一套自己的基础理论。从大体趋势来说,国内和国外的研究方法和方向有差异,尤其是在某些方面还是存在着一定的差距。总的来说,国外的研究更偏重交叉学科和理论基础的研究,而国内则偏重于实际的应用上,用数据来解决实际的问题。随着数据挖掘研究的深入与成熟,发展和推广,数据应用技术也会越来越广泛。
自2017年以来,数据挖掘技术不仅仅和新兴互联网产业结合紧密,和传统产业的相互结合和促进,也成为了一个新亮点。目前,数据挖掘应用主要集中在以下方面。在金融业上:用于银行行业各种趋势预测,优化存贷策越等。客户关系管理:用于分析客户的行为,对客户进行分类,改善客户关系等。生物信息:用于各种染色体、基因序列的识别以及制药生物信息和科学研究等。电子商务:用于在线交互式营销系统的经营模式、市场策略等方面来优化网站结构,改善网易推荐和商品推荐内容等。零售业:数据挖掘技术被用来进行分析购物篮来协助货架设置,安排促销商品的时间等商业活动。数据挖掘是一门交叉学科,涉及到各个行业和各个领域,同时,随着各行业对大量数据的处理深度和分析上的需求的增加,数据挖掘研究已经成为了学术界研究的热门学科,同时也受到各领域的重视。
{title}2. 研究的基本内容与方案
{title}(1)研究的基本内容
①编写Python爬虫程序,采集各类商家的评分、人均价格和订单数等;
②对采集到的数据进行预处理,包括数据合并、数据清洗、数据标准化等。
(2)研究目标
①利用Python爬虫程序实现对美团网商家的数据挖掘与分析;
②开发商家搜索网站,实现推荐优质商家功能。