如何结合大数据与云计算

你如何在大数据的海洋寻宝？对于那些拥有庞大信息需要处理的企业，在数据分析之前要克服的第一个障碍就是--不能够定位到相关并且有意义的信息。这也是HGST遇到的问题，HGST（日立环球存储科技公司）是一个计算机硬件的主要生产厂商，他们现在迫切需要追踪在生产设施上收集到的数据。据HGST的云计算与高性能解决方案主管David Hinz介绍，找到所需要的数据来评估生产过程是一个漫长或者说是不可能完成的任务。

“我们不能确定它在哪里，谁拥有它，以及如何得到它，”Hinz说，“对于HGST,我们想改善性能使其能够及时得到数据，并使团队能够快速找到它。然后，我们就可以回过头来开始分析并找出相关见解，来帮助我们改进制造工艺，改善客户响应，并帮助产品推广。”通过在云端集中和精简数据，数据检索用户能够在几分钟之内找到想要的信息而不是几周。事实证明这家公司在云端设立Hive数据仓库是明智的选择。

如何结合大数据与云计算？

如今的数据绝大多数是非结构化的，而且大多数这类数据都是用户生成的。AWS的大数据及高可用性高级经理Ben Butler发表评论说：“现在生成数据更加容易，并且成本更低。然而它却把压力推给了生命周期的其余部分：收集和存储、分析和计算，从而能够搞清楚这些快速增长的数据的意义。”

如今，拥有PB数量级数据，并且一直包含流媒体的大企业已经不足为奇。可用信息的爆炸性增长意味着在可以被收集和高速分析的数据之间存在差距将越来越大。 “关于大数据，你拥有的数据量，种类，以及增长速率都要求新的工具，”Butler说，“在云端，我们组合不同的计算，网络以及存储工具，你可以用来解决这些问题。”

解锁大数据的秘密

由云计算提供的弹性和按需配置，为让企业组织能够试验和尝试解决大数据的新方法提供了核心力量。企业可以根据供应的基础设施，用不同的迭代方式尝试和操纵他们的数据。基础设施不再限制用什么来处理数据。这些相同的灵活性使企业即使有高可变负载的情况下也不会超支。

根据需要可扩展性还可以减少数据处理的等待时间，这样对资源的争用就会更少。获得无限制的资源可以让企业在使用AWS解决方案时做出更好的决策。例如，把EMR或其他解决方案植入Kinesis后台，接近实时的分析可以在几秒之内，通过把可视化的结果传递给BI系统展示出来。

大数据处理是一个挑战，对于这些数据，如果没有强有力的硬件做支撑处理，对其进行有意义的分析几乎是不可能的。但幸运的是，云计算爆炸和弹性使用处理的能力意味着小型企业组织现在可以完成曾经只有大企业才能完成的任务。云计算已经使大数据更易于管理，而且还可以对这些数据做更多，更快的分析。随着大数据还在不断变大，更大的云计算将在那里等待处理。