英语原文共 166 页

你有多少次听过，“这改变了一切”，只是为了表明历史，事实上，根本没有什么变化？我们希望在这里明确一些事情（我们将在本书中重复这一重点，以确保毫无疑问）：大数据技术非常重要，我们将把它们称为几乎所有大型组织的前进的关键路径，但传统的数据平台并没有消失 - 他们只是得到一个伟大的合作伙伴。

一些历史背景在这里是有用的：几年前，我们听说Hadoop会“改变一切”，并且它会“使传统数据库过时。”我们自己想，“胡说八道。”这些陈述要求对关键动态有所了解这往往被忽视，其中包括注意大数据技术在成熟度曲线上的位置，为旅程挑选合适的合作伙伴，了解它如何与传统的分析平台相辅相成（上一章的左手右手类比），以及在选择大数据合作伙伴时考虑人员组件。总而言之，我们认为大数据是改变数据中心整体效率的游戏规则，因为它有可能成为您信息管理系统中的强大工具。

对于我们中的许多人来说，大数据相对较新，但是您希望从大数据平台中获得的价值并非如此。打算在其企业环境中实施Hadoop的客户对MapReduce编程模型提供的机会感到兴奋。虽然他们喜欢对过去成本过高的大量数据执行分析的想法，但他们仍然是具有企业期望和需求的企业。因此，我们认为IBM对于这个游戏来说不是什么新鲜事 - 更不用说我们了2007年10月开始与Google合作开展MapReduce项目。

您可以想象，IBM在集成解决方案方面拥有巨大的资产和经验，并确保它们符合标准，高度可用，安全，可恢复，并提供一个框架，当数据流过其信息供应链时，它可以被信任（因为没有人购买IT解决方案因为他们喜欢运行软件）。

想象一个艺术家画一幅画：空白画布（IT解决方案）是一个机会，你画的画面是最终目标 - 你需要正确的画笔和颜色（有时候你会混合颜色使其完美）到绘制你的IT图片。对于仅转售与服务或新产品上市文件系统相关的开源Hadoop解决方案的公司，讨论的开始和结束都是将图片挂在墙上所需的锤子和钉子。你最终不得不出去购买绘画用品，并依靠自己的艺术技巧来画画。 IBM大数据平台就像一个“按颜色数字”绘画工具包，其中包含您需要的所有内容，可以使用您认为合适的任何自定义设置快速构图，绘制和挂起一组生动，详细的图片。在此工具包中，IBM提供了您所需的一切，包括专为开发，定制，管理和数据可视化而设计的工具集，用于统计和文本的预构建高级分析工具包，以及Hadoop运行时的企业强化，所有这些都在自动安装中完成。

IBM屡获殊荣的研究机构继续通过高度抽象的查询语言，优化，文本和机器学习分析等来接纳和扩展Hadoop空间。其他公司，尤其是利用开源的小公司，可能在项目中有一定的广度（IBM也是如此），但他们通常没有深入了解对企业至关重要的功能集合。例如，开源有文本分析和机器学习部分，但这些并没有像Biglnsights中那样易于使用和扩展，这对企业来说非常重要。毫无疑问，对于一些客户来说，开源社区就是他们所需要的，IBM绝对尊重这一点（这就是为什么你只能从IBM购买Hadoop支持合同的原因）。对于那些需要传统支持和交付模型的人，以及获得数十亿美元的文本和机器学习分析以及其他企业功能的投资，IBM提供了其大数据平台。 IBM还提供其他好处：24x7直接工程师支持，国内化代码和本地语言服务等等。我们已经有成千上万的人员可以帮助你画画。此外，还有来自IBM的解决方案，例如Cognos Consumer Insights，它们可以在Biginsights上运行，并可以加速您的大数据项目。

当您考虑IBM为Hadoop系统添加的所有好处时，您就可以理解为什么我们将Biglnsights称为平台。在本章中，我们将介绍IBM为大数据解决方案带来的价值的非技术细节（我们将深入讨论第5章中的技术细节）
大数据没有大哥：它已经准备好了，但仍然很年轻

询问任何有经验的CIO，他们将率先告诉您，在很多方面，技术都很容易。我们想要提供的观点反映了技术与人的交叉。这方面的一个很好的例子是我们一直在问自己的一个非常务实的问题：“这里还需要什么在仓储空间？
请注意，我们并不是在问什么技术有用;这是一个更广泛的想法。虽然能够创建和保护数据集市，强制执行工作负载优先级，以及将业务用户与开发人员的比例扩展都基于技术，但这些是从数千人年运营经验中产生的最佳实践。以下是几个很好的例子：大型IT投资往往伴随着陷入“科学项目模式”的项目，不是因为技术失败，而是因为没有指出要解决的正确问题，或者它不能集成到数据中心供应链的其余部分及其通常复杂的信息流中，我们也看到许多初始的小型部署成功，但他们面临的挑战是让它超越临时阶段，因为他们工作中的“企业”部分来了调用（稍微更多内容）。这通常可以解释Hadoop周围的嗡嗡声和缺乏广泛的显着用法之间的差异。现在这听起来有点像矛盾，因为Hadoop是众所周知的并且在Twitter，Facebook和雅虎等巨头;但回想一下，所有这些公司都拥有庞大的开发团队，大多数财富500强公司都无法负担这些开发团队，因为他们不是技术公司也不是他们想要的。他们要寻找创新方法来加速其核心竞争力业务。

除了拥有如此庞大的IT预算的客户，他们可以为自己想做的任何事情提供自己的（RYO）环境资金，有许多公司正在生产Hadoop，但不是传统的企业意义上的。例如，数据质量是否要求？服务水平协议（SLA）是否将IT与业务发起人签订合同？数据是否安全？是否实施了隐私政策？解决方案任务是否至关重要，因此具有定义的平均修复时间（MTTR）和恢复点目标（RPOS）的生存（灾难恢复和高可用性）计划？

我们提出这些问题是因为我们从客户那里听说过“使用Hadoop，但它没有为我们企业中的其他解决方案设置企业期望栏”。我们希望在这里明确一些事情：我们是Hadoop及其社区的忠实粉丝和支持者;但是，有些客户有他们要求我们解决的某些需求（我们认为大多数用户最终都会遇到相同的要求）。大数据平台是“拥抱和扩展”。 IBM采用这种开源技术（我们已经详细介绍了开源的一长串贡献，包括IBM的Hadoop提交者，我们不分叉代码的事实，以及我们保持向后兼容性的承诺），并扩展了框架我们的客户需要向我们表达 - 即分析丰富和一些企业优化功能。我们相信开源Hadoop引擎与丰富的生态系统合作，可以强化和扩展它，可以成为满足企业期望的业务流程中的一流公民。毕竟，Hadoop不是关于思考速度的响应时间，也不是在线事务处理（OLTP）;这是批处理作业，众所周知，批处理窗口正在缩小。虽然企业会扩展它们以获得前所未有的洞察力，但是在您的Hadoop项目可用性和性能要求得到“我爱我的SLA”纹身之前，您认为它会持续多久？这是不可避免的。
Hadoop解决方案为企业带来的价值越高，它就越接近关键性的十字路口，这就意味着新的期望和新的生产SLA水平。想象一下，您试图向您的风险管理副总裁解释您不确定如果您的未平仓风险头寸和分析计算准确完整。疯了吧？现在公平地说，任何系统都存在这些挑战，并没有说Hadoop并不是太棒了但是，它在您的业务中变得越流行和越重要，对其上运行的解决方案将进行更严格的审查。例如，您将对太多开放端口进行审核检查，您将被要求分离职责，您可以将最小权限原则应用于操作，等等。

这种情况比您预期的更为常见，而且这种情况的发生是因为许多人没有退后一步来看待需要解决的更广泛的背景和业务问题。它也来自与年轻技术合作的现实，解决这个问题需要大量的创新。

IBM提供的合作伙伴关系不仅为您提供了大数据平台，还可以缩短分析时间并满足许多企业需求，但它确实提供了关键资源的经验，并了解支持和维护这些资源的重要性。例如，IBM Data Server驱动程序每天每小时支持数十亿美元的交易 - 现在这是业务关键性！将其与Hadoop等创新技术相结合，以及IBM对开源的全面支持，您将获得极好的机会。
您的大数据合作伙伴能为您做什么？

到目前为止，在本章中，我们简要地暗示了IBM提供大数据解决方案的一些功能 - 即提供平台而不是产品。但是，在任何公司背后，您需要了解它可以带来的资源，它如何在您的任务和目标中为您提供支持，它可以为您提供支持，以及它是否在平台的未来工作和投资以及增强功能更快地提供更多价值。或者他们只是为了搭便车，为产品提供一些支持而不是基于平台视角思考，让您自己组装并解决大部分企业挑战。

在本节中，我们将讨论IBM正在做的一些事情以及它提供的资源，这使它成为大数据平台的必然选择。当您查看Biglnsights时，您正在寻找拥有专利和获奖作品的200多位IBM研究科学家的五年努力。例如，IBM的通用并行文件系统 - 无共享集群（GPFS-SNC）赢得了SC10存储挑战奖，该奖项授予竞争中最具创新性的存储解决方案

IBM耗资1亿美元的大数据投资

作为IBMS对Hadoop平台持续创新的承诺的示范，2011年5月，它宣布投资1亿美元用于大规模分析。关键词分析是值得在此注意的事项。假设多个供应商提供某种Hadoop产品。他们中有多少人将其作为一个包含加速器和分析能力的平台？或者您是自己构建的，或者单独购买和集成，并为您的IT解决方案利用不同的工具，服务支持合同，代码质量等等？在考虑分析时，请考虑IBM SPSS和IBM Cognos资产（不要忘记Unica，CoreMetrics等等），以及Netezza或IBM Smart Analytics System中的分析知识产权。 IBM拥有业务分析和优化（BAO）部门这一事实说明了自己，并代表了IBM将在其大数据平台中为分析提供的长期能力。并且，不要忘记，据我们所知，我们知道没有其他供应商能够在运动中分析大数据（Infosphere Streams，或简称Streams）和静态大数据（Biglnsights）的分析。
IBM可以在很大程度上做出这种承诺，因为它在创新方面拥有一个世纪以来的成功记录。 IBM拥有地球上最大的单一商业研究组织，如果这还不够，我们将用这个令人清醒的事实完成本节，以便消化IBM等合作伙伴对您的大数据业务目标的影响：过去五年来，IBM已经在24项分析收购中投入了超过140亿美元。今天，超过8000名IBM业务顾问致力于分析，200多名数学家正在IBM Research内部开发突破性算法，现在只用于分析;我们没有讨论Hadoop对企业适用性的强化，我们对Apache项目（包括Hadoop）的提交，以及更多。所以你告诉我们，这听起来像你想为你的球队选择的那种球员吗？

大数据创新的历史

在您阅读本节之前，我们希望明确它是营销信息：它听起来像营销，看起来像营销，并且像市场一样阅读。但关于IBM营销的事情是，它是事实（我们喜欢在这里对我们的一些竞争对手发表一个明确的笑话，但我们确信我们刚刚做了）。尽管如此，以下部分讨论的创新表明IBM几代人一直致力于解决问题，其研究实验室通常领先于市场，并且经常在问题出现之前提供解决方案。在我们完善本书的业务方面时，让我们花点时间思考一下IBM过去，现在和将来的合作伙伴类型，只需要了解其过去的创新，这可以与IBM的准备就绪相关联。今天的大数据合作伙伴。事实上IBM有着第一次创新的历史可能对你来说很新：从第一个交通灯计时系统到Fortran，DRAM，ATMS，UPC条形码，RISC架构，PC，SQL和XQuery，关系数据库技术，以及其间的数百种其他创新资产（请查看www.ibm.com/ibm100/上的历史来源，了解跨越一个世纪的创新概念）。让我们来看看IBM的一些创新，看看他们如何将IBM独特地定位为大数据行业的领导者。
1956年：第一个磁性硬盘
IBM推出了世界上第一个用于数据存储的磁性硬盘，随机访问会计和控制方法（RAMAC），通过允许随机访问分布在50 x2英尺直径磁盘两侧的任意一百万个字符，提供前所未有的性能。 IBM的第一块硬盘在加利福尼亚州圣何塞生产，每平方英寸存储大约2000位数据，每兆字节的购买价格约为10,000美元。到1997年，存储一兆字节的成本已下降到10美分左右。 IBM目前仍然是存储游戏的领导者，具有创新的重复数据删除优化，与数据利用率相关的自动数据放置（当您计划存储数PB的数据时，这不是一个糟糕的方法），固态磁盘等等。幸运的是，对于大数据，驱动器的价格继续下降，而容量继续增加;但是，如果没有IBM发明的经济型磁盘驱动器技术，大数据是不可能的。
1970年：关系数据库

IBM科学家Ted Codd发表了一篇介绍关系数据库概念的论文。它要求将存储在计算机中的信息安排在易于理解的表中，以便非技术用户可以访问和管理大量数据。今天，几乎所有企业范围的数据库结构都基于IBM的关系数据库概念：DB2，Informix，Netezza，Oracle，Sybase，SQL Server等。您的大数据解决方案不会独自存在;它必须集成并且可能会增强您的关系数据库，在这个领域，很少有其他公司能够声称拥有相同类型的经验 - 而且IBM发明了它。

1971年：语音识别

IBM构建了第一个可操作的语音识别应用程序，该应用程序使工程师可以维护设备，从可以识别大约5000个单词的计今天，IBMS ViaVoice语音识别技术具有64,000字的词汇和26万字的备用词典。 1997年，ViaVoice产品在中国和日本推出。高度定制的语音类型产品也特别适用于急诊医学，新闻，法律和放射学领域的人员。现在考虑将语音识别技术与第2章中概述的呼叫中心用例相关联，并认识到IBM在该领域具有知识产权，可以追溯到本书的一些读者诞生之前。
1980年：RISC架构

IBM成功构建了第一台采用RISC（精简指令集计算机）架构的原型计算机基于1970年初IBM科学家John Cocke的发明，RIS

资料编号：[5560]