运营商如何玩转大数据

时间:14-07-09 栏目:大数据 作者:爱说云网 评论:0 点击: 1,898 次

大数据技术方案

  如果说大数据在之前仅仅是人们口头上热炒的一个词的话,今年春节时央视《晚间新闻》启用百度地图定位可视化大数据播报的春节人口迁徙新闻,随后“百度迁徙”的上线通过春运线路、热门迁移城市等海量数据在线服务为“大数据”上演的一幕幕生动情景剧,则形象地说明了大数据走入各行各业的现实。

  在盘活大数据价值这一个方向上,互联网企业已经显现出决心和速度,而拥有巨大用户资源和各类海量数据的运营商,显然也早已在大数据概念出现后就开始投入研究,但到底该怎么玩?如何基于庞大的用户数据资源优化产品结构,推出更加个性化的服务?已是运营商的当务之急。

  怎么运用大数据?

  对于运营商如何真正利用起大数据,思特奇大数据专家于佳琪接受CWW记者采访时提出了两个关键过程,一是运营商如何运用大数据实现有效分析,二是通过企业数据资产的归集建设企业级数据中心

  分析,恰恰是现阶段大数据发展的重中之重。

  为何这样说?于佳琪解释,如果说以往的传统小数据能反映用户行为是“为什么”,那么,所有小数据集合起来的大数据反映的则是更为重要的“是什么”。

  “业界现在提到大数据往往是指大数据分析,大数据出现的目的,就是为了处理现有软件架构不能完成的采集数据处理任务而产生的。数据采集、处理、存储、应用恰恰是传统数据分析的一系列过程。”

  在谈到大数据分析时,也有很多业内人提到了人工智能决策支持系统。对于二者的区别,于佳琪表示,传统的数据挖掘,数据来源是数据抽样的过程,通过抽样算法进行分析,得出“为什么”结论;而大数据是通过庞大数据量,分析单元数据之间的联系,发现一定的趋势或者它们之间更深层的联系,得出“是什么”结论,而这样的结论对于大数据来说才是真正的目的。

  “在大数据分析的基础上,大数据还应该是数据资产集合和应用的概念。”在不断深入研究大数据运营以及与三大运营商总部、省分公司充分沟通后,思特奇得出更精准的结论。

  于佳琪解释,和电信运营商相比,互联网企业数量庞大,提大数据的思想更早一些,但除了百度、阿里巴巴、腾讯拥有庞大自身数据的企业,其他互联网企业业务垂直,数据较为单一,量也不够大,他们在做大数据分析时的劣势是数据源不够、多样性不够丰富,而数据源的量和多样性恰恰是运营商最有优势的地方。

  随着手机在生活和工作中的深入应用,运营商的先天优势很明显,即可以探索到所有客户通过移动终端产生了什么样的行为,包括互联网行为和语音通话的行为。这些行为恰恰为运营商提供了庞大的、客观的数据。这样的整体数据资产归集在一起,逐步发展为应用与数据分离的状态,则是软件行业一直追求的目标。

  “这样集中的目的,是最终让每一个运营商有在业务域、管理域、网络域等不同域的数据资产都能对上层应用以数据服务的方式开放,上层可以利用数据中心的管理对数据进行应用开发,而不限于某个域的开发。比如流量经营、智能管道,都可以利用这样开放的架构,对数据进行利用,进而对产品和服务进行提升。”于佳琪形象地总结了运营商玩转大数据的第二个关键阶段。

  数据分析的关键在哪?

  数据采集、数据处理、数据导入导出被认为是大数据做好分析的关键,但这几个基本过程也并非意味着轻松。

  与传统的技术平台(小型机+存储阵列)数据采集不同,大数据中心的基础架构基本上都是分布式的架构(x86服务器),相比之下,传统技术平台带来的数据采集瓶颈一时半会还较难突破。另外,传统数据源系统的数据结构和数据库,还不能提供源源不断地实现分布式的数据导出。“但这样的问题已有了一定的解决办法,”于佳琪称, “例如在数据归集和采集上,大数据中心可以同时向很多数据源进行采集,这也是分布式架构的优势。而下一步需要解决的则是,从现有的关系型数据库里更高效地采集数据。”

  谈及大数据的处理,不能不谈结构化数据和非机构化的数据的区别,几乎像男性和女性天生就特别理性和特别感性一样,可以被计算机轻松识别的结构化数据(往往可以破解为0101……代码)处理起来并不难,而大量增长的非机构化数据(以文件、图片、视频等等形式存在的,很难被破解为规律代码的数据)则有较大处理难度(是啊,人类如果能明白女人到底在想什么就可以把很多事情变简单)。

  对付这样难搞的非结构化数据,通过技术将其转换为计算机能够读懂的数据,让其“束手就擒”并被有效分析,又是一项大数据发展中的重要课题。

  “赋予数据生命”

  无论好搞还是难搞,“数据导出的意义,是为了有效应用”,于佳琪总结数据导出的关键:一方面是把数据打包给大数据平台,赋予数据生命,让上层更好地使用它;另一方面,使用数据的最终用户是人,而不是计算机,所以让人来读懂数据分析结果是最重要的。

  试想一下一个有千百行数据的报表摆在你的面前,这是大数据最终应该呈现的效果吗?NO!数据报表体现不出来数据的意义,把经过汇集、分析、导出的“理性男人”的结构化数据,最终又变为容易被理解被看懂的以图形、图像等可视化结论为主的“感性女人” 非结构化数据,才是大数据运用的最终目的。

  如果你是运营商你可能会问:“我们的很多业务系统都是彼此独立的,这样怎么来应用大数据?”

  于佳琪对此称,运营商一个个相对封闭且独立的“烟囱式”业务系统,是数据统一协调应用的难点,也正是大数据在运营商中应用的驱动。一个办法是,运营商建大数据中心,把这些数据都归集在大平台上进行挖掘和处理,但目前这一方面还存在一次性投资大、建设效益形成慢等风险;另一个办法是,在运营商已做好相关数据规划的前提下,把数据先归集好,采取小步快跑的方式先把大数据体系架构搭建起来,通过弹性扩展,根据需求不断扩充架构,通过应用的迁移,基于应用和数据的分离,把数据逐步归集进来,而后通过开放的数据服务平台提供给上层应用和开发者。

  “两种方式各有优劣。不过小步快跑可以避免大数据投资带来的风险,数据运用从小变大,应用价值可以逐步衍伸。”

相关文章

云计算让大数据概念越来越流行
views 1765
摘要: 日益增强的存储能力和日益下降的存储成本,以及不断改善的数据分析能力,共同促进了大数据在越来越多的企业和行业的应用。正如云计算等等已经为我们...... 关键词: 云计算大数据     日益增强的存储能力和日益下降的存储成本,以及不断改善的数据分析能力,共同促进了大数据在越来越多的企业和行...
大数据和云计算–不仅仅为了大公司...
views 1740
如今,云计算是活蹦乱跳的。举例来说,我住在拉斯维加斯,一个城市充满了创业公司,其中大部分是启动和运行在很短的时间内这在很大程度上归功于对“云”。看看全国各地,真是他的世界。数以百万计小型,中型和大型组织已经接受了它,并看到在这个过程中巨额回报。    或者看看你的手机,你会看到通常的嫌疑人。以消...
一眼就明白云计算,大数据,移动互联网和物联网之间的关系...
views 2293
我们在《互联网进化论》一书中提出“互联网的未来功能和结构将于人类大脑高度相似,也将具备互联网虚拟感觉,虚拟运动,虚拟中枢,虚拟记忆神经系统” ,并绘制了一幅互联网虚拟大脑结构图。 根据这一观点,我们尝试分析目前互联网最流行的四个概念-------------大数据,云计算,物联网和移动互联网与传统...
MPP DB 是 大数据实时分析系统 未来的选择吗?...
views 2577
大数据领域,实时分析系统(在线查询)是最常见的一种场景,前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为TDW,小米等公司选用HBASE等。关于HIVE/HBASE/IMP...
大数据拼精准 可否触动电商个性营销神经...
views 1523
今日之电商诸侯争霸,可谓火药味甚浓,更推进着产业前进步伐。古语有云:长袖善舞,多钱善贾,意指有所依靠,事情容易成功。随着大数据所爆发出的巨大潜力,在如今的互联网经济时代,玩电商的“有才有财”企业,正在用大数据思维与技术影响着企业业务决策和商业推广思路。可以预测的是,互联网平台大数据分析,正如利剑出鞘...
浅析大数据与云计算物联网等热点的关系...
views 1916
  大数据时代的到来,是全球知名咨询公司麦肯锡最早提出的,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 近几年大数据一词的持续升温也带来了大数据泡沫的疑虑,大数据的前景与目前云计算、物联网...
云计算遭遇大数据 碰撞出技术革命
views 1830
前两天有人在微博发问,用什么样的方式讲述大数据和云计算才能非专业人士听的更清楚,其实关于大数据的案例有很多,商业智能分析也多次提到过关于数据挖掘的价值和意义,只不过在今天看数据比以前还多而已,大数据并不可怕,可怕的是他的实时分析能力,会让缺点和真相赤裸裸暴露在人们面前,那么当云计算遭遇大数据一股脑向...
大数据处理
views 1928
java.util.BitSet可以按位存储。 计算机中一个字节(byte)占8位(bit),我们java中数据至少按字节存储的, 比如一个int占4个字节。 如果遇到大的数据量,这样必然会需要很大存储空间和内存。 如何减少数据占用存储空间和内存可以用算法解决。 java.util.BitSet就提...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 运营商如何玩转大数据

运营商如何玩转大数据:等您坐沙发呢!

发表评论


读者排行