基于hadoop的异常数据检测技术实现文献综述
2020-04-13 17:16:27
一. 选题依据 1.课题背景 如今我们生活在一个信息爆炸的时代,信息爆炸的背后是数据量以惊人的几何式速度增长。
根据IDC(International Data Corporation)的数字宇宙 (Digital Universe) 研究报告显示,2006年全球数据总量为0.18ZB (1ZB=1,000EB=1,000,000PB=1,000,000,000TB),2011年增长至1.8ZB,而到2020年,这个数字预计将增长到惊人的40ZB。
并且届时,约有33%的数据将包含有价值的信息。
随着电子设备种类和数量的快速增加,数据的来源也变得更加多种多样,小到纪录运动信息的穿戴设备,大到探寻宇宙起源的巨型射电望远镜,无不在源源不断的产生数据。
数据量的增长即使机遇,也是挑战。
我们拥有海量的,多的处理不完的数据,而这也为存储和分析这些数据,挖掘其中的有用信息的方法提出了一个难以达到的要求。
曾经一次偶然的机会,我在网络上了解到了World Community Grid这个科学计算项目,让我第一次了解到了分布式计算(Distributed Computing),并对此产生了兴趣。
加入其中某个项目(比如FightAIDS@home)后,我的电脑会接收到服务器端发送的文档,这个文档是这整个项目被分成成千上万个小部分后的其中之一。
经过在我电脑上一段时间的计算后,生成的结果将会被发送回服务器端并校验其正确性,然后新的文档将被我接收,周而复始。
这种计算方式科学地利用了每一位志愿者的电脑的空闲时间,将原本被浪费的电力转化成了科研项目的成果。