大数据分析处理平台的调度应该具备什么能力?

时间:14-07-10 栏目:大数据 作者:爱说云网 评论:0 点击: 2,138 次

本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用,达到一个什么样的能力。

谈调度之前,先说说大数据分析处理平台的定义:集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统,它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一般来说,大数据分析处理平台有以下几个显著特点:

  1. 规模大,集群化。百度,腾讯,阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。
  2. 复杂度高,多个子系统异构。现在很难有一种技术能把所有问题搞定,所以通常是多个子系统混合一起通力合作。
  3. 系统负载高,压力大,从腾讯公布的数据来看,每天完成上百万个任务的执行。
  4. 可靠性要求高,容易维护。

那么调度在整个大数据分析处理平台中起到什么作用?我觉得一个智能、高效的调度应该达到以下几个层面的能力:

  1. 首先是从资源角度,整个系统中要做到高效,就需要一个全局的分配资源的中心。这样才能做到各个子系统资源合理,高效的分配和调度。业界现在最常见的是MESOS,YARN,腾讯基于YARN的基础上改造了GAIA,谷歌公布了他的第三代调度Omega,关于资源管理可以看我前面的文章《资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析》。
  2. 从系统整合角度,整个系统一定是异构的系统,所以调度要支持异构,能整合异构系统来一起完成整个数据的计算,流转,存储以及提供服务。
  3. 从业务角度来看,系统一定的可扩展的,业务可快速定制的,所以调度本身能结合业务进行定制,支持任务的编排,任务的各个子系统的快速迁移。
  4. 从调度本身能力来看,调度本身应该是一个智能的调度,具有自学习,自我调优的能力,一个智能的调度系统才适合业务的不停变化。

相关文章

2014中关村大数据日,数据资产驱动产业创新...
views 1935
大数据作为价值万亿的可再生之矿,作为社会资产和生产要素,影响国计民生、产业再造和民族复兴。如何对数据资产的管理、变现和驱动产业创新,决定企业的竞争能力,产业的未来和国家竞争力。 围绕这个话题,政府领导、行业领袖、技术专家怎么看?产业联盟,领军企业和产业代表怎么想,又怎么做?2014中关村大数据日,我...
云计算背景下的大数据时代来临
views 2025
数据中心正在成为新时代的“信息电厂”,成为知识经济的基础设施。过去一年,“大数据”正在成为一个热门话题。 半个世纪信息技术的发展,主要解决的是云计算中“结构性”数据的存储、处理与应用。“结构性”数据的特征有如你到银行去存取款,银行的计算机系统记录着你的名字,在名字之后是你存取款的数量、时间、类型等信...
大数据 | 零售店铺十二大数据分析指标...
views 1937
零售店铺一天生意的好坏,如何提升,要掌握分析好十二大数据指标。 一、营业额 (1)营业额反映了店铺的生意走势。 针对以往销售数据,结合地区行业的发展状况,通过对营业额的每天定期跟进,每周总结比较,以此来调整促销及推广活动。 (2)为店铺及员工设立销售目标。 根据营业额数...
云计算、大数据、物联网发展趋势
views 2211
 1.个人和企业等将在技术上花费21000亿美元   更多   信息产业的研究报告   2014-2018年版信息产业园区定位规划及招商策略2008-2009年中国信息产业发展研究年度总报告2008-2009年中国台湾地区 信息产业发展研究年度2008-2009年欧盟信息产业发展研究年度报告2008...
大数据基础知识:分布式计算、服务器集群-...
views 2018
大数据的数据量是非常大的,都是达到了PB的级别。在这么大的数据当中,包括了结构化数据和非结构化数据。其中结构化数据包括了数字、符号等数据,非结构化数据包括了文本、图像、声音、视频等数据。这让大数据在存储和处理的过程当中就不能用传统的数据库关系去完成了。在大数据里面,最有价值的信息就在这里面,所以这个...
云计算让大数据概念越来越流行
views 1942
摘要: 日益增强的存储能力和日益下降的存储成本,以及不断改善的数据分析能力,共同促进了大数据在越来越多的企业和行业的应用。正如云计算等等已经为我们...... 关键词: 云计算大数据     日益增强的存储能力和日益下降的存储成本,以及不断改善的数据分析能力,共同促进了大数据在越来越多的企业和行...
大数据拼精准 可否触动电商个性营销神经...
views 1723
今日之电商诸侯争霸,可谓火药味甚浓,更推进着产业前进步伐。古语有云:长袖善舞,多钱善贾,意指有所依靠,事情容易成功。随着大数据所爆发出的巨大潜力,在如今的互联网经济时代,玩电商的“有才有财”企业,正在用大数据思维与技术影响着企业业务决策和商业推广思路。可以预测的是,互联网平台大数据分析,正如利剑出鞘...
玩转大数据:需要知晓的12种工具
views 1762
  无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具。   在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 大数据分析处理平台的调度应该具备什么能力?

大数据分析处理平台的调度应该具备什么能力?:等您坐沙发呢!

发表评论


读者排行