全文总字数：1879字

1. 研究目的与意义及国内外研究现状

随着互联网的普及，电商行业在最近几年得到了迅猛发展。商务部统计数据显示，2012年到2016年，我国网络购物用户人数从2.42亿人增长至4.67亿人，增长近一倍。电子商务交易额从8.1万亿元增长至26.1万亿元，年均增长34%。其中，网络零售交易额从1.31万亿元增长至5.16万亿元，年均增长40%，对社会消费品零售总额增加值的贡献率从17%增长至30%。电子商务发展直接和间接带动的就业人数从1500万人增长至3700万人。2017年全国电子商务交易额达29.16万亿元，同比增长11.7%。其中商品、服务类电商交易额21.83万亿元，同比增长24.0%。相关数据统计，2017双11期间全网20家平台实时销售数据显示全网总销售额是2539.7亿，其中阿里，京东，苏宁易购和首次参加双11的唯品会交易总额占全网双11成交额的95.3%，其余电商只有不到4.7%市场份额。

经过多年发展，目前规模较大电子商务平台企业纷纷开始构建生态系统，平台为商家和消费者提供交易、支付、物流等各方面全周期支持与服务，各大平台与平台商家之间依存越来越紧密，阿里系、腾讯系、百度系、京东系等主体均取得了显著规模效益。

所以对各大电商平台进行数据爬取并进行深度挖掘、分析成为了必要，这有利于我们对社会消费趋势、大众消费偏好进行全面了解，同时也可以动态、实时跟踪各电商平台的商品数据，了解各电商平台的商业战略和服务意识。

2. 研究的基本内容

本课题主要使用python语言，并综合使用python社区的开源库。利用scrapy对各大电商网站进行数据爬取，然后对爬取的电商数据进行深度挖掘、分析、统计，最后把数据的分析结果进行可视化展示，展示的方式是图表。为使用者提供一个使用方便、系统稳定、运行流畅、界面美观的爬虫及数据分析系统。

3. 实施方案、进度安排及预期效果

本课题的实行方案：前期研究设计目的和意义、调查设计需求、进行相关文献和实例的研究、掌握一定的相关技术和设计方法；中期进行大体框架的设计、具体模块的设计、详细设计、具体实施；后期进行相关的测试和修改。

进度安排：

2018年12月20-2019年1月20日：搜集资料，完成开题。

4. 参考文献

[1] 张喜红,王玉香.基于scrapy的中药材网络信息采集方法研究[j].江汉大学学报(自然科学版),2018,46(06):522-527.

[2] 任洛漪.基于scrapy的商务网站数据抓取[j].信息与电脑(理论版),2018(19):56-57.

[3] 冯传新,杨保华.基于scrapy框架的京东数据分析系统设计与实现[j].价值工程,2018,37(28):255-258.