1. 研究目的与意义

1.1研究背景

近年来，随着网络通讯技术和计算机的快速发展，互联网已经深入到人们生活的各个领域，同时也催生了一种新型的通过电子信息网络进行交易的经济活动，买卖双方并不需要当面接触，典型性的代表有“阿里巴巴”、“淘宝”这一类通过网站订货和购物，这就是电子商务。这其中，很大一部分是客户信息和消费记录，通过数据分析，企业可以掌握客户的消费习惯、优化现金和库存，并扩大销量，数据已经成为了各行各业商业决策的重要基础。

2. 研究内容与预期目标

2.1研究内容和预期目标

对于网络爬虫的研究从上世纪九十年代就开始了，目前爬虫技术已经趋见成熟，网络爬虫是搜索引擎的重要组成。本课题研究内容包括爬取淘宝、京东、苏宁等网站里的电子商品信息，爬取后的网页经分析后得到电子商品相关的重要数据存储至本地数据库。并且将电子商品信息进行展示，包括相关价格、参数、店家信息的展示。同时可以输入关键字词进行对电子商品信息的检索。对获取的数据利用聚类算法如k-means进行分类分析。

3. 研究方法与步骤

3.1研究方法

本课题由于需求的明确性，因而采用软件开发模型中的瀑布模型。瀑布模型由winston royce于1970年提出，他将软件生命周期划分为制定计划、需求分析、软件设计、程序编写、软件测试和运行维护等六个基本活动。采用瀑布模型可以为项目提供按阶段划分的检查点，并且当某一阶段完成后，只需要关注这一阶段的后续阶段。

3.2 研究步骤

4. 参考文献

[1]，胡松涛.python网络爬虫实战[m].北京：清华大学出版社，2017.

[2]，数据挖掘技术在电子商务中的应用研究[j].百度文库，2015.

5. 工作计划

（1）2022.1.5 ---2022.2.28 查阅资料, 撰写开题报告

（2）2022.3.1 ---2022.3.15 需求分析,熟悉开发工具

（3）2022.3.15---2022.3.20 概要设计