1.1研究背景

上世纪60年代到80年代早期，企业就在大型机上部署财务、银行等关键应用系统，存储介质包括磁盘、磁带、光盘等。尽管当时人们称其为大数据，但以今日的数据量来看，这些数据无疑是非常有限的。随着PC的出现和应用增多，企业内部出现了很多以公文档为主要形式的数据，包括Word、Excel文档，以及后来出现的图片、图像、影像和音频等。此时企业内部生产数据的已不仅是企业的财务人员，还包括大量的办公人员，这极大地促进了数据量的增长。互联网的兴起则促成了数据量的第三次大规模增长，在互联网的时代，几乎全民都在制造数据。而与此同时，数据的形式也极其丰富，既有社交网络、多媒体等应用所主动产生的数据，也有搜索引擎、网页浏览等被动行为过程中被记录、搜集的数据。时至今日，随着移动互联网、物联网、云计算应用的进一步丰富，数据已呈指数级的增长，企业所处理的数据已经达到PB级，而全球每年所产生的数据量更是到了惊人的ZB级。在数据的这种爆炸式增长的背景下，“大数据”的概念逐渐在科技界、学术界、产业界引起热议。

1.2国内外研究现状

当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略。

美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。2012年3月29日，奥巴马政府宣布投资2亿美元启动《大数据研究和发展计划》，希望增强收集海量数据、分析萃取信息的能力。以美国科学与技术政策办公室（OSTP）为首，国土安全部、美国国家科学基金会、国防部、美国国家安全局、能源部等已经开始了与民间企业或大学开展多项大数据相关的各种研究开发。美国政府为之拨出超过2亿美元的研究开发预算。奥巴马指出，通过提高从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，改变教学研究，加强国家安全。据悉，美国国防部已经在积极部署大数据行动，利用海量数据挖掘高价值情报，提高快速响应能力，实现决策自动化。而美国中央情报局通过利用大数据技术，将分析搜集的数据时间由63天缩减到27分钟。2012年 5月美国数字政府战略发布，更是提出要通过协调化的方式， 所有部门共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性，并形成合力；扩大大数据技术开发和应用所需人才的供给。以信息和客户为中心，改变联邦政府工作方式，为美国民众提供更优公共服务。

英国商业、创新和技能部在2013年初宣布，将注资6亿英镑发展8类高新技术，其中对大数据的投资即达1.89亿英镑。负责科技事务的国务大臣戴维·威利茨说，政府将在计算基础设施方面投入巨资，加强数据采集和分析，这也将吸引企业在这一领域的投资，从而在数据革命中占得先机。英国在大数据方面的战略举措有：在本届议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。

法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入 3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长 Arnaud Montebourg、数字经济部副部长Fleur Pellerin和投资委员Louis Gallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。

在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。去年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将达到12亿美元，是目前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在2012年初，印度联邦内阁批准了国家数据共享和开放政策。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站 data.gov.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。