浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 2,031 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3个level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel...
views 2553
Google在2003年到2004年公布了关于GFS、 MapReduce和BigTable三篇技术论文,这也成为后来云计算发展的重要基石,如今Google在后Hadoop时代的新“三驾马车”—— Caffeine、Pregel、Dremel再一次影响着全球大数据技术的发展潮流。 Mike Ols...
戴尔与贵阳市政府开展大数据及云计算领域合作...
views 1959
北京,2015年1月20日——戴尔今天宣布,与贵阳市政府签署合作备忘录,双方将在大数据、云计算等领域展开一系列合作,通过共建云联合实验室、搭建混合企业云平台以及开展相关大数据人才培训等方式,建立广泛而深入的合作伙伴关系。在贵阳市政府的大力支持下,戴尔将进一步拓展在中国企业级市场的覆盖,助力中国地方经...
大数据未来发展趋势预测
views 3365
大数据的世界正在稳步发展壮大。随着数据数量和种类的不断膨胀,读者都想知道接下来会发生什么。Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授。同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职。他融汇理论与实践于一身,他绝对是回答“2014年企业大数据发展趋势”的正...
大数据挖掘带动的变迁
views 1932
自大数据进入了人们的视线之后,它便逐渐成为人们普遍关注的焦点。大数据讲的是PB时代的科学,本质上大数据的挑战是PB时代的对科学的挑战,更是对包括数据挖掘在内的认知科学的挑战。那么,大数据时代怎么做数据挖掘呢?   在现今时代人们通常所说的大数据主要包括三个来源:第一是自然界大数据,也就是地球上的自然...
亚信张灏:打通各行业数据壁垒 让大数据变现畅通无阻...
views 2501
大数据时代已经到来,企业所拥有的数据日益激增,如何更好地挖掘数据价值,进而指导业务发展,产生更高效益,成为企业关注的焦点和追求的方向。2014中关村大数据日上,亚信提出了大数据资产的概念,及帮助合作伙伴提升大数据资产价值的最佳实践。借此机会,CSDN专访了亚信大数据事业部总经理张灏,请他分享了亚信对...
专访携程大数据平台高级经理李亚锋:大数据技术融合下的Spark更具魅力...
views 1957
随着移动互联时代的到来,人们的双手得到解放,因为通过智能手机APP和触摸屏就可以彻底解决交互性和易用性的问题,这也使用户行为数据呈现爆炸性增长。大数据技术可以帮助我们对海量的数据进行加工分析,了解用户的行为特征,以及他们对服务的期待,从而使用户得到更好的服务体验。 Hadoop 和Spark都是大家...
BDTC 2014讲义尝鲜:15家机构论道大数据实战...
views 2219
2014中国大数据技术大会已圆满落幕,这里为大家送上本届大会的第一手干货,分别来自Hortonworks、IBM、Intel、VMware、eBay、阿里、腾讯、网易、搜狐、携程等机构。 2014年12月12-14日,作为大数据领域最具影响、规模最大的IT盛会——2014中国大数据技术大会暨第二届C...
大数据应用–实时路况数据
views 2484
现在手机上装个导航软件,如高德地图,百度地图等等都有实时路况显示,导航和道路规划可以根据实时路况来实施,从而动态躲避拥堵,为出行节省时间,为了显示实时路况就必须有路况数据,今天来说下实时数据的获取方法。一般来说有以下几种典型数据来源获取方法: 1、实时路况数据最主要的收集方式,还是浮动车。这个浮动车...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行