Research of Big Data Based on the Views of Technology and Application

Zan Mo, Yanfei Li

School of Management, Guangdong University of Technology, Guangzhou, China

Email: 649319529@qq.com

Received 1 April 2015; accepted 19 April 2015; published 22 April 2015

Copyright copy; 2015 by authors and Scientific Research Publishing Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/

Abstract

In the era of big data, large amounts of data affect our work, life and study, even national economic development. It provides a new way of thinking and approaches to analyze and solve problems, which gradually becomes a hot research. Based on describing the concept and characteristics of big data, this paper describes the development of technologies in big data analysis and storage and analyses the trends and different values in commercial applications, manufacturing, biomedical science and other applications. At last, the authors sum up the existent challenges of big data ap-plications and put forward the view that we should deal with big data challenges correctly.

Keywords

Big Data, Big Data Technology, Application, Data Analysis

1. Introduction

Before big data appear, database has become an important processing platform because of the data processing convenience. But when database is faced with non-relational or large-scale data, there is a difficulty dealing with them. Big data not only enhance the related computing services technologies but also change the traditional mode of many industries. The latest report released by Markets and Markets shows that [1], from 2013 to 2018, the annual compound growth rate of the global market for big data will be 26 percent, from $14.87 billion in 2013 to $46.34 billion.

Big data are the hottest words in the IT industry, followed by data warehouse, data analysis and data mining. The commercial value of the using big data gradually becomes the focus profits of different professionals. Big data help people acquire knowledge from the massive, complex data, and become another focus after integrated circuit and Internet information technology. IBM, Amazon, Microsoft and other large companies are constantly committed to develop and utilize big data, triggering the development boom of big data.

2. Development of Big Data

2.1. Definitions and Characteristics

The original concept of the idea of big data is from the world of computer science and econometrics [2]. Mc Kinsey amp; Company is the first company to refer big data. In June 2011, McKinsey issued a report on “big data”, which carried out a detailed analysis of the impact, key technologies and application. From that on, big data caused different industriesrsquo; concerns.

There are many kinds of definitions of big data. Wikipedia points out that big data usually includes data sets with sizes beyond the ability of commonly used software tools to capture, curate, manage, and process data within a tolerable elapsed time [3]. McKinsey believes that big data is one data set whose size exceeds the typi-cal database software acquisition and storage, management and analysis. In Victor Meyer-Schonbergrsquo;s “BIG DATA” [4], big data means using the method of all the data but not random analysis (sampling). IDC (Interna-tional Data Corporation) is defined as to meet 4V (Variety, Velocity, Volume, Value) index called big data.

The characteristics of big data are submitted by Victor Meyer-Schonberg in “BIG DATA”. There are four characteristics, including volume, velocity, variety, value [4].

Volume refers to the huge amount of data. With the development of data storage and network technology, da-ta storage expands from TB to ZB. Only in 2011, 1.8ZB (1.8 trillion GB) of data are created. Warehouse man-agement server will increase 10 -fold to 50-fold to cater to the growth of big data. Velocity refers to the mobility of data streams. It is difficult to deal with data in a traditional way because data run fast. Through cloud compu-ting, it can achieve fast data processing. Variety refers to relational and non-relational data generated by a va-riety of ways. With the development of mobile networks, people are more widespread to use real-time data. The quantity of semi-structured and non-relational data is also increasing. Value reflects the value of the significance of big data applications, which has a scarcity value, uncertainty and diversity.

All in all, although the definition of big data contains different concerns and technologies, but there is a con-sensus point, big data refers not only too large amounts of data, but also including a large amount of data processing techniques. “4V” characteristics show a large number of data. Volume, velocity and variety are aim to realize the value of big data. Data collection, storage, analyze, is prepare for dig out the value of data. Big da-ta emphasizes complexity in data analysis, and it pays more attention to data processing efficiency and the data value.

2.2. Development Trend

From an economic development perspective, many large companies focus on big data seriously. IDCrsquo;s report claimed that global data will increase by 50 times over the next decade, shown in Figure 1. Oracle President, Mark Hurd, said that now itrsquo;s the era of big data explosion, and data grew at an alarming rate. At present, the amount of data around the world is million trillion. Data increase 8 times from 2005 to 2011. In 2020, the ex-pected amount of data could reach 35 million trillion.

The developme

剩余内容已隐藏，支付完成后下载完整资料

基于技术和应用视角的大数据研究

赞莫，李燕飞

广东工业大学管理学院，广州

电子邮件：649319529@qq.com

015年4月1日收到; 2015年4月19日接受; 2015年4月22日发布

版权所有copy;2015作者和科学研究出版公司

本作品按照知识共享署名国际许可（CC BY）许可。http://creativecommons.org/licenses/by/4.0/

摘要

在大数据时代，大量的数据会影响我们的工作，生活和学习，甚至是国家的经济发展。 它为分析和解决问题提供了一种新的思路和方法，逐渐成为一个热门研究课题。 本文在描述大数据的概念和特点的基础上，描述了大数据分析和存储技术的发展，分析了商业应用，制造业，生物医学等应用的发展趋势和不同价值。 最后，作者总结了大数据应用存在的挑战，并提出我们应该正确处理大数据挑战的观点。

关键词

大数据，大数据技术，应用程序，数据分析

1.介绍

在大数据出现之前，由于数据处理的便利性，数据库已经成为一个重要的处理平台。但是，当数据库面临非关系或大规模数据时，处理它们是有困难的。大数据不仅增强了相关计算服务技术，而且改变了许多行业的传统模式。市场和市场公布的最新报告显示[1]，从2013年到2018年，全球大数据市场的年复合增长率将为26％，从2013年的148.7亿美元增至463.4亿美元。

大数据是IT行业最热门的词汇，其次是数据仓库，数据分析和数据挖掘。使用大数据的商业价值逐渐成为不同专业人士的焦点利润。大数据有助于人们从庞大复杂的数据中获取知识，并成为集成电路和互联网信息技术之后的又一焦点。 IBM，亚马逊，微软和其他大公司一直致力于开发和利用大数据，引发大数据的发展热潮。

1. 大数据的发展

2.1.定义和特征

大数据理念的最初概念来自计算机科学和计量经济学的世界[2]。 Mc Kinsey＆Company是第一家引用大数据的公司。 2011年6月，麦肯锡发布了“大数据”报告，对其影响，关键技术和应用进行了详细分析。从那以后，大数据引起了不同行业的担忧。

大数据的定义有很多种。维基百科指出，大数据通常包含的数据集的大小超出了常用软件工具在可容忍的时间内捕获，管理和处理数据的能力[3]。麦肯锡认为，大数据是一种数据集，其规模超过了典型数据库软件的获取和存储，管理和分析。在Victor Meyer-Schonberg的“BIG DATA”[4]中，大数据意味着使用所有数据的方法，而不是随机分析（采样）。 IDC（国际数据公司）定义为符合称为大数据的4V（品种，速度，体积，价值）指数。

大数据的特征由Victor Meyer-Schonberg在“大数据”中提交。有四个特点，包括体积，速度，品种，价值[4]。

卷是指大量的数据。随着数据存储和网络技术的发展，数据存储从TB扩展到ZB。仅在2011年，才会创建1.8ZB（1.8万亿GB）的数据。仓库管理服务器将增加10倍到50倍，以迎合大数据的增长。速度是指数据流的移动性。由于数据运行速度很快，因此以传统方式处理数据很困难。通过云计算，可以实现快速的数据处理。多样性是指通过各种方式生成的关系数据和非关系数据。随着移动网络的发展，人们更广泛地使用实时数据。半结构化和非关系数据的数量也在增加。价值反映了大数据应用价值的重要性，它具有稀缺价值，不确定性和多样性。

总而言之，虽然大数据的定义包含了不同的关注点和技术，但是有一个共同点，大数据不仅涉及大量的数据，还涉及大量的数据处理技术。 “4V”特性显示了大量的数据，体积，速度和品种都旨在实现大数据的价值。数据收集，存储，分析，为挖掘数据的价值做好准备。大数据强调数据分析的复杂性，更关注数据处理效率和数据价值。

2.2. 发展趋势

从经济发展角度来看，许多大公司都认真对待大数据。 IDC的报告称，未来十年全球数据将增长50倍，如图1所示。甲骨文总裁Mark Hurd表示，现在是大数据爆炸的时代，数据以惊人的速度增长。目前，全球的数据量是万亿美元。数据从2005年到2011年增长8倍。到2020年，预计数据量可能达到3500万亿。

“2012 Hadoop与大数据技术大会”发布的大数据发展趋势显示，前三大话题是数据资源，大数据隐私问题以及大数据与云计算的整合。 Wired杂志编辑克里斯声称，这些数据使传统的科学方法已经过时。尽管这种说法有点极端，但大数据的确改变了我们的生活，我们的思维方式。大数据被广泛使用。现在许多大公司使用大数据来简化流程并提高效率，例如Microsoft，Apple，Oracle，Amazon，Google，FaceBook和Twitter。他们在处理大数据集方面经验丰富[5]。

图1.全球数据增长预测（单位：ZB）

1. 技术

大数据为传统的数据分析提供了一种新的方法，它具有多种技术，包括Ha-doop和MapReduce，云计算，网格计算等。 本文将对以下技术进行分类。

• 1. Hadoop and MapReduce

在相关技术中，更具代表性的是Hadoop，它是以非关系数据分析技术为代表的。 Hadoop凭借非结构化处理，大规模并行处理，易用性等优势，成为主流技术。 MapReduce是2004年由Google提出的用于并行处理和生成大数据的模型[6]，它是一种线性的可扩展编程模型。 Ha-doop是MapReduce的一个开源实现。 凭借其开源且易于使用的特性，Hadoop已成为大数据处理的首选。 它不仅创建有针对性的营销应用，充分利用交易数据，还提高了欺诈检测的准确性和及时性。 包括Fa-cebook，Google，eBay和Yahoo在内的许多互联网公司都开发了基于Hadoop的大规模应用程序。 MapReduce和Hadoop可以显着提高大数据处理的效率。

• 1. 大数据采集引擎

除了效率和速度的要求外，大数据收集也需要安全性。 将规则引擎和有限状态自动机结合在一起的通用数据采集引擎，有助于验证大数据采集流程的安全性和正确性[7]。 当添加新的收集节点时，规则引擎将自动使整个系统更加灵活和可扩展。 同时，它确保了状态转换，并且提高了安全性和清晰的逻辑。 大数据采集与JESS规则引擎集成，不仅可以控制状态转换和匹配，还可以监视异常状态和位置错误。 规则引擎可以清楚地显示出错的匹配错误和细节，确保数据采集的安全性和准确性。

• 1. MFA (Mean Field Analysis)

大数据处理系统需要一些相关的组件并行使用同一任务的多个实例，以达到所需级别的性能应用程序。 为了使管理员和开发人员能够保持数据的增长速度，这些系统的可靠性评估至关重要。 基于MFA的一组概率模型的近似推理方法可以解决大数据的性能评估系统问题[8]。 通过行为建模来评估数据结构的性能，MFA可以在有限的时间内计算相关的基本性能。 另外，MFA可以在更短的时间内建立和评估，因为它不依赖于实例的数量。 在评估大数据性能的过程中，MFA技术非常有效。

• 1. 其他技术

除了上述技术之外，M2M（机器对机器）技术是一个重要的技术。 M2M平台可以扩大数据生产者的数量和数据消费者的灵活性，在很短的时间内完成新的服务，重用和合并不同来源的数据。 现有研究表明，自动创建M2M决策支持系统有很大的发展空间[9]。 在大数据分析和处理中也有网格计算，云计算和其他技术。 大数据技术不是一项单一的技术，而是与各种其他技术相结合，从而在存储和分析中发挥最大的作用。

1. 应用

大数据的到来改变了许多应用，包括商业，传统制造，生物医学领域和其他应用。 大数据为企业带来了机遇。 以前未使用的数据资源可以被存储和处理。 新的数据收集技术和高级数据挖掘工具提供了一个前所未有的机会。 本文分析了商业应用，制造业，生物医学产业和其他行业。

• 1. 商业应用

商业研究表明，及时有效地使用数据驱动的知识是一种竞争优势。 与云计算相结合，使用LDA提取主题可以提供非结构化数据的有用性，可以帮助企业出口竞争优势[10]。 通过大量的结构化和非结构化数据，企业使用大数据智能分析技术来识别欺诈风险，趋势和模式。 大数据不能帮助企业解决问题，而且还能预防犯罪。 一个例子是格里芬公司[11]。 大数据的欺诈检测和预防解决方案留下了交互痕迹，改进了数据可视化，并增加了识别欺诈活动的机会。

• 1. 制造业

作为传统行业，由于大数据的出现，制造业也受到攻击。 大数据可能推动制造业预测制造业的下一次革命。 为了提高竞争力，制造商需要接受新兴技术，如高级分析和物理网络[12]，以系统方法提高效率和生产力。 大数据可以帮助减少自动化生产过程中的缺陷和控制成本。 通过跟踪产品的每一个细节，从制造商到商店安装，数据可以让制造商追踪更好的解决方案。 监测缺陷率和按时交付也可以帮助供应商选择和评估绩效。 正在开发的工具用于处理和管理由传感器和其他设备生成的大数据，这将从根本上改变产品发明，制造，运输和服务[13]。

• 1. 生物医学工业

大数据正在改变生物医学行业，为人类带来益处。 根据McKin-sey全球研究所的资料，有效使用大数据将有助于美国医疗保健部门每年节省3,000亿美元的储蓄，将支出减少8％[14]。 大数据分析可应用于超声心动图，血管造影，磁共振成像或计算机断层扫描以形成心脏成像[15]。 大数据成像也可能提供关于疾病，治疗和干预

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[22794]，资料为PDF文档或Word文档，PDF文档可免费转换为Word