浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 1,578 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

大数据时代大数据分析的哲学变革
views 1914
近年来,大数据这个原本陌生的专业词汇迅速进入大众视野,掀起了一场新的数据技术革命。大数据正在改变我们的生产、生活、教育、思维等诸多领域以及认识、理解世界的方式,作为时代精神精华的哲学,应该及时对这场数据革命做出全面的回应和批判,深入分析大数据对我们的世界观、认识论、方法论、价值观和伦理观将带来的深刻...
6个用于大数据处理分析的最好工具
views 1609
大数据是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型...
芝麻开门 大数据征信体系揭秘
views 2932
1月28日,蚂蚁金融服务集团(下称“蚂蚁金服”)旗下的芝麻信用首次测试个人征信系统,这也是1月5日央行发布允许8家机构进行个人征信业务准备工作通知后,首家推出该系统的公司。据21世纪经济报道记者了解,在1月5日央行发布通知后,蚂蚁金服便迅速注册公司,组建团队。其骨干成员大部分为数据科学 家,同时开始...
谷歌技术”三宝”之MapReduce — 大数据云计算时代...
views 3634
江湖传说永流传:谷歌技术有"三宝",GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机...
百度大数据洞察:“数”说年轻女性的自我世界-应用案例...
views 1648
  百度大数据带您透视小世界里的大女人精神。小世界指的是新一代年轻女性的自我世界,寓意每一个小小的我都是一个世界;大女人寓意新一代年轻女性脱离集体意识形态,不再完全秉承传统女性小鸟依人式的附属与顺从,而体现为一种独立自主的精神、一种大女人的情怀。   新一代年轻女性自我意识崛起下的3个需求层次  ...
以3D打印和大数据为基础的分布式制造,将彻底打通互联网和制造业...
views 1423
现如今,投资界纷纷将目光聚焦在移动互联网应用、互联网金融以及智能穿戴设备等项目,似乎它们将是一批风口上的猪。不可否认,在互联网与传统行业不断渗透深入的当下,每一个这些项目的推进,都会改变人们的产生生活,都是一片不估量的蓝海。但奇怪的是,一片储量当丰富的金矿,却只是在时代前进的滚滚洪流中闪烁了一下,...
云计算功能
views 1598
随着技术的进步,人类需要处理的数据业务也越来越多。无可争议的一件事是云计算功能是强大的,它可以有效地降低计算机硬件的投资,并降低信息服务的复杂性,节约人力物力。当云计算功能得到更好的发挥时,相信会有更多企业加入进来,使用云计算功能也将越来越方便。( 云计算的功能好处可以从以下几个方面看到。比如当用...
Monet DB学习笔记
views 2841
1 架构: 三层软件架构: SQL front-end:前端SQL解析,数据模型优化,降低数据中间结果的总量,最后将SQL语句解析为MAL(MonetDB Assembly Language)。 Tactical-optimizers:一系列优化模块的集合,组成优化管道,这个模块提供功能从符号处理到...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行