浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 1,744 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

谷歌技术”三宝”之MapReduce — 大数据云计算时代...
views 3869
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机...
GFS(Google File System)介绍 — 大数据云计算时代...
views 2233
Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable 等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅能从Google公布的技...
大数据时代,课堂应如何创新
views 2005
随着大数据时代出现,有人曾这样预言,随着MOOC、微课、翻转课堂等基于网络的教学形式的出现,我们这些中小学教师弄不好是会下岗的。 这也许不是危言耸听。 当我们孩子天天拿着IPAD,随时随地搜索、了解各种知识、资讯时,他们是这个互联网时代的原住民,而我们从“50后”到“80后”的教师,充其量只是网络世...
美国大数据工程师面试攻略有哪些?
views 3247
大家好,我是来自硅谷的董飞,应国内朋友邀请,很高兴跟大家交流一下美国大数据工程师的面试攻略。 个人介绍 先做一个自我介绍,本科南开后,加入了一个创业公司kuxun,做实时信息检索,后来进入百度基础架构组,搭建了Baidu App Engine的早期版本,随后去Duke大学留...
Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel...
views 2181
Google在2003年到2004年公布了关于GFS、 MapReduce和BigTable三篇技术论文,这也成为后来云计算发展的重要基石,如今Google在后Hadoop时代的新“三驾马车”—— Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流。 Mike Ols...
谁在用阿里云?云计算用户须知10个问题...
views 2073
云计算喊了好几年了,笔者很好奇,到底什么样的用户在使用,以及这些用户在采购和使用云计算时是基于一种怎样的场景、需求和心态?   根据工信部电信研究院在其《云计算白皮书》(2014)中披露的统计数据。在全球排名前50万的网站中,约有2%采用了公共云服务,其中80%的网站采用了亚马逊和Rackspace...
案例:eBay利用MongoDB优化搜索-技术方案...
views 2164
      eBay使用MongoDB来执行众多涉及大量数据的任务。这些项目包括搜索建议,云管理、元数据存储和商品的分类等。搜索建议是其网站的一个重要特征。MongoDB的使用,为快速向用户给出建议提供了可能。 搜索建议是如何产生的?       当你开始在eBay的搜索框输入查询关键词时,输入...
百度大数据洞察:“数”说年轻女性的自我世界-应用案例...
views 1832
  百度大数据带您透视小世界里的大女人精神。小世界指的是新一代年轻女性的自我世界,寓意每一个小小的我都是一个世界;大女人寓意新一代年轻女性脱离集体意识形态,不再完全秉承传统女性小鸟依人式的附属与顺从,而体现为一种独立自主的精神、一种大女人的情怀。   新一代年轻女性自我意识崛起下的3个需求层次  ...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行