云计算遭遇大数据 碰撞出技术革命

时间:14-07-19 栏目:大数据 作者:爱说云网 评论:0 点击: 2,137 次

前两天有人在微博发问,用什么样的方式讲述大数据和云计算才能非专业人士听的更清楚,其实关于大数据的案例有很多,商业智能分析也多次提到过关于数据挖掘的价值和意义,只不过在今天看数据比以前还多而已,大数据并不可怕,可怕的是他的实时分析能力,会让缺点和真相赤裸裸暴露在人们面前,那么当云计算遭遇大数据一股脑向企业涌进的时候,企业能否驾驭呢?

  所谓的大数据主要涵盖3V面向,分别是处理时效(Velocity)、数据格式(Variety)与数据量(Volume);所以大数据并非单一技术,而是众多技术项目的集合体,它们的共同目的,都是在一定时间内处理完大量的结构化、半结构化或非结构化数据。唯有驾驭个中关键技术,方能分析处理大数据,建立商业应用价值。

  倘若善用巨量资料实时性分析,这些看似枯燥琐碎的资料,立即就能蜕变为饶富价值的资产,造就无穷无尽的商机。它可以帮助精品服饰业者,快速洞察顾客的喜好变化,立即形成最佳的生产销售决策,继而创造源源不断的营收增长动能;它可以帮助投信业者,从Tweets中分析大众的情绪变化,藉以提高股市行情预测的精准度,创造远远优于同业的基金投资报酬率。

  也难怪各方都对巨量资料趋之若鹜,譬如美国欧巴马政府即在2012年3月间做成决定,此后将投入高达2亿美元的研究与开发经费,藉以改善巨量资料时代中,所需之开发、搜集、储存、管理、分享与分析工具与技术,以期利用这些技术加速科学及工程上的发现脚步、强化国家安全,并改善相关的教育及学习模式。

  大数据到底是个“神马”东西

  的确,虽然这些神乎其技的大数据应用,无不让企业心生向往,然而多数IT主管却对于个中技术一半未解,导致影响所属企业商业价值的产出,殊为可惜。

  究竟企业如何基于大数据的分析与应用需求,提高其技术整备度?知名研究机构Gartner在其发表的“Hype Cycle for Big Data”当中所呈现的巨量资料优先矩阵(Priority Matrix for Big Data),即已针对众多技术今后的兴衰浮沉,进行大致的预测;如此一来,哪些技术被定位为“革命性(Transformational)”,亟需密切留意,哪些技术处于高度(High)发展的轨道,值得善加运用,而哪些技术大抵维持中度(Moderate)发展格局,未来大起的机会不高,若要为此挹注大量投资,恐需再三思考,企业IT人员心中即有基本的谱图与脉络。

  根据Gartner预测,从现在起的两年之内,率先达到革命性等级的技术,便是字段式数据库(Column Store-DBMS),将呈现高度发展者,则为预测分析技术,至于社交媒体监控、Web分析等技术,发展状况持平。如此观之,举凡字段式数据库、预测分析,将会是企业亟需优先布局的标的。

  探究字段式数据库之所以抢得头香,其实并不难理解,因为对于数据撷取、保存、使用、分享与分析等用途而言,数据库系统皆堪称是最关键的载体,因此其面对大数据的读写效率、及近实时(Near Real-Time)运算能力的强弱,肯定需要审慎考虑;在此情况下,传统以Row为索引存取基础的数据库,效能显然不彰,无法承担因大数据而衍生的大量工作负载(Work Load),倘若不为此做改变,后头的进阶型分析应用,可说连想都不必再想了。

  当然,随着Hadoop大行其道,连带使得诸如BigTable、HBase或Cassandra等Key-Value数据库开始抬头,这些可被统称为“NoSQL”的数据库,不论是Key-Value Database、In-memory Database、Graph Database或Document Database,都有别传统关系数据库结构,似乎都更将贴近大数据的处理需求,既然如此,何不直接采用NoSQL数据库、而非字段式数据库?

  事实上,NoSQL另一层意涵为“Not Only SQL”,旨在补现有SQL之不足,而非取代SQL,企业宜先从数据库I/O需求、Schema Free需求、单一数据表的储存需求…等不同面向,彻底检视其于处理大数据的过程中,究竟可能面临哪些难题,而这些难题,哪些是SQL可以解决的、哪些又是SQL所不能解决的,莫要为了追求时髦而时髦;如此看来,字段式数据库被企业所倚赖的空间,确实十分宽广,最起码,它对于数据的读取效能,肯定比NoSQL数据库强大许多。

  云端运算与内存数据库 革命性技术值得关注

  被Gartner点名为革命性技术的“第二梯队”者,则包含了两项,分别是云端运算、内存数据库系统(In-Memory DBMS)。

  至于同样落在2~5年区间的高度发展技术,项目就相当繁多,包括先进的诈欺侦测暨分析技术、以云端为基础的网格运算、数据科学家、内存分析(In-Memory Analytics)、内存数据网格(In-Memory Data Grids)、政府公开数据(Open Government Data)、预测模型解决方案(Predictive Modeling Solutions)、社交分析(Social Analytics)、社交内容(Social Content),以及文本金分析(Text Analytics)。

  云端技术对于大数据处理与分析的重要性,着实无庸置疑。先从私有云角度来看,要想透过不管是MPI或MapReduce进行大数据的分布式计算,都需奠基于计算、储存或网络等资源的灵活调度,值此时刻,若舍弃云端,似乎就唯有斥巨资部署超级计算机一途了。

  其次谈到公有云。尽管各行各业都可因大数据分析而获益,但多数应用场域,其实并非无时无刻都需要做分析,使用频率甚至长达每季一次、或每半年一次;在此前提下,企业若仅为了并非实时性的巨量资料分析,因而投注大量人力、物力与时间等成本建构Hadoop环境,投资报酬率似乎不太划算,的确值得商榷。

  此时此刻,企业若能以弹性付费的方式,向公有云服务供货商,租赁大数据分析所需之计算资源,且能比照内部On-Premise管理规则进行相关设定,实在称得上是美事一桩。以微软为例,即在Windows Azure公有云端平台上提供Hadoop租用服务,让企业无需投资布建大量服务器及数据库,便可随需推动大数据运算任务,甚至标榜能将 Windows与SQL Server方便管理的特性带到Hadoop环境,便是相当典型的云端Big Data服务。

  至于内存数据库,即是将关系数据库、甚至是字段式数据库,整个置于内存之中,这般做法的好处是,以往最让人诟病的磁盘I/O瓶颈,即可声应而破,从而大幅提振效能、缩短数据库作业的响应时间;身处现今凡事讲究超速的时代,企业若能更快获致商业运算结果,也意谓其获得胜利的可能性愈大。

  所以大家不难发现,当内存数据库被Gartner预期会在2~5年成为革命性技术的同时,“In-Memory”这个字眼仍在高度发展技术象限中反复出现,包括内存分析、内存数据网格等,也就充分凸显出,“效能”对于大数据处理,实在太过重要,而效能表现的强弱,甚至对于最终商业应用的绩效影响至巨。

  另值得一提的,在Gartner点名会在2~5年转为“中度发展”的技术名单中,其间不乏是近来非常热门的项目,譬如MapReduce、NoSQL数据库、数据库SaaS(Database Software as a Service;dbSaaS),此一看似将由热转冷的发展趋势,亦值得企业保持关注。

相关文章

解读“支解理论”,丁健的产业互联网预言...
views 2022
12月12日, 2014 CVW 产业互联网大会上,金沙江创投董事总经理丁健在“产业互联网三人谈”话题中提出了“支解理论”。他认为:“互联网正在支解传统产业,未来每个传统产业领域都会因为互联网的变革而出现一到两家大的平台公司,当然现在的竞争刚刚开始,谁成为剩下的大平台仍是未知数。” 根据“支解理论...
大数据处理
views 2175
java.util.BitSet可以按位存储。 计算机中一个字节(byte)占8位(bit),我们java中数据至少按字节存储的, 比如一个int占4个字节。 如果遇到大的数据量,这样必然会需要很大存储空间和内存。 如何减少数据占用存储空间和内存可以用算法解决。 java.util.BitSet就提...
玩转云存储 后期制作巧用搜狐企业网盘...
views 1982
从热映的《撒娇女人最好命》、《太平轮》,到即将推出的《微爱之渐入佳境》。华谊兄弟三箭齐发,迎接贺岁档的到来。银幕上精彩纷呈的背后是国内外制作团队共同努力协作的结果。华谊兄弟通过引入云存储技术,巧妙的利用搜狐企业网盘高效传输、协同办公的特性,将后期制作进行分解,通过国内外不同团队间的合作,让影片的制作...
IBM付建军:基础架构至关重要 定云部署胜负...
views 2745
随着云计算、大数据等技术的崛起,IT领域正经历着剧烈变化。企业的基础架构的部署对自身发展和竞争优势的提升至关重要。1月28日的IBM混合云大会上,IBM系统与科技事业部云计算业务拓展和解决方案经理付建军,带来了主题为“基础架构至关重要,定云部署胜负”的分享。 目前云的应用场景主要分为三个类型:公有...
云计算之Docker:颠覆者还是昙花一现
views 2155
在云计算产业界,一场由一个技术掀起的革命正在悄悄上演:名不见经传的小公司横插进IT大佬构筑的云生态产业链,各路IT企业纷纷拥抱该技术并接纳该公司,云计算的构建方式和实施方式也即将发生或多或少的改变。这个技术就是Docker,这个公司便是dotCloud。 DotCloud本是家新创业小公司,基本无...
微软云转型达成里程碑 但仍面临高风险...
views 2218
为了适应云计算时代,微软对业务模式实施调整。在这一进程中,它刚刚完成了一项里程碑。在年末将至之际,它成为了企业级云服务市场的第一大销售商,超过了Salesforce.com等创业公司和诸如IBM、甲骨文的老牌企业。 尽管云服务在微软总营收中的占比不到5%,但该项里程碑标志着微软在后PC时代终于取得...
Amazon EC2 实例介绍
views 4615
Amazon EC2 提供多种经过优化,适用于不同使用案例的实例类型以供选择。实例类型由 CPU、内存、存储和网络容量组成不同的组合,可让您灵活地为您的应用程序选择适当的资源组合。每种实例类型都包括一种或多种实例大小,从而使您能够将您的资源扩展到符合目标工作负载的要求。 通用 ...
谷歌技术”三宝”之MapReduce — 大数据云计算时代...
views 4166
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 云计算遭遇大数据 碰撞出技术革命

云计算遭遇大数据 碰撞出技术革命:等您坐沙发呢!

发表评论


读者排行