云计算遭遇大数据 碰撞出技术革命

前两天有人在微博发问，用什么样的方式讲述大数据和云计算才能非专业人士听的更清楚，其实关于大数据的案例有很多，商业智能分析也多次提到过关于数据挖掘的价值和意义，只不过在今天看数据比以前还多而已，大数据并不可怕，可怕的是他的实时分析能力，会让缺点和真相赤裸裸暴露在人们面前，那么当云计算遭遇大数据一股脑向企业涌进的时候，企业能否驾驭呢?

　　所谓的大数据主要涵盖3V面向，分别是处理时效(Velocity)、数据格式(Variety)与数据量(Volume);所以大数据并非单一技术，而是众多技术项目的集合体，它们的共同目的，都是在一定时间内处理完大量的结构化、半结构化或非结构化数据。唯有驾驭个中关键技术，方能分析处理大数据，建立商业应用价值。

　　倘若善用巨量资料实时性分析，这些看似枯燥琐碎的资料，立即就能蜕变为饶富价值的资产，造就无穷无尽的商机。它可以帮助精品服饰业者，快速洞察顾客的喜好变化，立即形成最佳的生产销售决策，继而创造源源不断的营收增长动能;它可以帮助投信业者，从Tweets中分析大众的情绪变化，藉以提高股市行情预测的精准度，创造远远优于同业的基金投资报酬率。

　　也难怪各方都对巨量资料趋之若鹜，譬如美国欧巴马政府即在2012年3月间做成决定，此后将投入高达2亿美元的研究与开发经费，藉以改善巨量资料时代中，所需之开发、搜集、储存、管理、分享与分析工具与技术，以期利用这些技术加速科学及工程上的发现脚步、强化国家安全，并改善相关的教育及学习模式。

　　大数据到底是个“神马”东西

　　的确，虽然这些神乎其技的大数据应用，无不让企业心生向往，然而多数IT主管却对于个中技术一半未解，导致影响所属企业商业价值的产出，殊为可惜。

　　究竟企业如何基于大数据的分析与应用需求，提高其技术整备度?知名研究机构Gartner在其发表的“Hype Cycle for Big Data”当中所呈现的巨量资料优先矩阵(Priority Matrix for Big Data)，即已针对众多技术今后的兴衰浮沉，进行大致的预测;如此一来，哪些技术被定位为“革命性(Transformational)”,亟需密切留意，哪些技术处于高度(High)发展的轨道，值得善加运用，而哪些技术大抵维持中度(Moderate)发展格局，未来大起的机会不高，若要为此挹注大量投资，恐需再三思考，企业IT人员心中即有基本的谱图与脉络。

　　根据Gartner预测，从现在起的两年之内，率先达到革命性等级的技术，便是字段式数据库(Column Store-DBMS)，将呈现高度发展者，则为预测分析技术，至于社交媒体监控、Web分析等技术，发展状况持平。如此观之，举凡字段式数据库、预测分析，将会是企业亟需优先布局的标的。

　　探究字段式数据库之所以抢得头香，其实并不难理解，因为对于数据撷取、保存、使用、分享与分析等用途而言，数据库系统皆堪称是最关键的载体，因此其面对大数据的读写效率、及近实时(Near Real-Time)运算能力的强弱，肯定需要审慎考虑;在此情况下，传统以Row为索引存取基础的数据库，效能显然不彰，无法承担因大数据而衍生的大量工作负载(Work Load)，倘若不为此做改变，后头的进阶型分析应用，可说连想都不必再想了。

　　当然，随着Hadoop大行其道，连带使得诸如BigTable、HBase或Cassandra等Key-Value数据库开始抬头，这些可被统称为“NoSQL”的数据库，不论是Key-Value Database、In-memory Database、Graph Database或Document Database,都有别传统关系数据库结构，似乎都更将贴近大数据的处理需求，既然如此，何不直接采用NoSQL数据库、而非字段式数据库?

　　事实上，NoSQL另一层意涵为“Not Only SQL”,旨在补现有SQL之不足，而非取代SQL,企业宜先从数据库I/O需求、Schema Free需求、单一数据表的储存需求…等不同面向，彻底检视其于处理大数据的过程中，究竟可能面临哪些难题，而这些难题，哪些是SQL可以解决的、哪些又是SQL所不能解决的，莫要为了追求时髦而时髦;如此看来，字段式数据库被企业所倚赖的空间，确实十分宽广，最起码，它对于数据的读取效能，肯定比NoSQL数据库强大许多。

　　云端运算与内存数据库 革命性技术值得关注

　　被Gartner点名为革命性技术的“第二梯队”者，则包含了两项，分别是云端运算、内存数据库系统(In-Memory DBMS)。

　　至于同样落在2~5年区间的高度发展技术，项目就相当繁多，包括先进的诈欺侦测暨分析技术、以云端为基础的网格运算、数据科学家、内存分析(In-Memory Analytics)、内存数据网格(In-Memory Data Grids)、政府公开数据(Open Government Data)、预测模型解决方案(Predictive Modeling Solutions)、社交分析(Social Analytics)、社交内容(Social Content)，以及文本金分析(Text Analytics)。

　　云端技术对于大数据处理与分析的重要性，着实无庸置疑。先从私有云角度来看，要想透过不管是MPI或MapReduce进行大数据的分布式计算，都需奠基于计算、储存或网络等资源的灵活调度，值此时刻，若舍弃云端，似乎就唯有斥巨资部署超级计算机一途了。

　　其次谈到公有云。尽管各行各业都可因大数据分析而获益，但多数应用场域，其实并非无时无刻都需要做分析，使用频率甚至长达每季一次、或每半年一次;在此前提下，企业若仅为了并非实时性的巨量资料分析，因而投注大量人力、物力与时间等成本建构Hadoop环境，投资报酬率似乎不太划算，的确值得商榷。

　　此时此刻，企业若能以弹性付费的方式，向公有云服务供货商，租赁大数据分析所需之计算资源，且能比照内部On-Premise管理规则进行相关设定，实在称得上是美事一桩。以微软为例，即在Windows Azure公有云端平台上提供Hadoop租用服务，让企业无需投资布建大量服务器及数据库，便可随需推动大数据运算任务，甚至标榜能将 Windows与SQL Server方便管理的特性带到Hadoop环境，便是相当典型的云端Big Data服务。

　　至于内存数据库，即是将关系数据库、甚至是字段式数据库，整个置于内存之中，这般做法的好处是，以往最让人诟病的磁盘I/O瓶颈，即可声应而破，从而大幅提振效能、缩短数据库作业的响应时间;身处现今凡事讲究超速的时代，企业若能更快获致商业运算结果，也意谓其获得胜利的可能性愈大。

　　所以大家不难发现，当内存数据库被Gartner预期会在2~5年成为革命性技术的同时，“In-Memory”这个字眼仍在高度发展技术象限中反复出现，包括内存分析、内存数据网格等，也就充分凸显出，“效能”对于大数据处理，实在太过重要，而效能表现的强弱，甚至对于最终商业应用的绩效影响至巨。

　　另值得一提的，在Gartner点名会在2~5年转为“中度发展”的技术名单中，其间不乏是近来非常热门的项目，譬如MapReduce、NoSQL数据库、数据库SaaS(Database Software as a Service;dbSaaS)，此一看似将由热转冷的发展趋势，亦值得企业保持关注。