浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 1,630 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

看大数据如何改变音乐产业
views 1433
行业领导者继续将音乐的版权使用费视为重中之重,认为它才是艺术家们收入的唯一未来。然而,音乐商业化的命运依然前途未卜。有些人认为我们的目标仅是简单地将艺术家的音乐传送到消费者的耳朵里。其他人则认为应该继续由消费者为音乐服务买单。不过,对那些音乐创作者来说,不管他们是签约音乐人还是独立音乐人,订阅模式...
mongodb备份与恢复方法大全
views 4098
一. 备份单台mongodb 1. 文件快照方式 2. 复制数据文件方式 3. 使用mongodump方式 二. 备份复制集 1. 将复制集中要恢复的成员移除集群 2. 运行mongorestore --oplogReplay命令 3. 创建oplog 4. 恢复oplog ...
《机器学习实战》作者Peter Harrington:如何成为一位数据科学家-技术方案...
views 2123
 现如今,人们的生活无外乎就是这个样子的,早上被闹钟准时叫醒,醒来后喝杯现泡的咖啡、吃上一片现烤的面包片,然后乘坐交通工具去上班。通常在上班的路上还要堵车一小会儿。   虽然生活的每一天都在重复,但却总不是一成不变的。随着物联网技术的不断成熟,越来越多的无生命物体开始变得更加智能。它们通过传感器、...
Spark的现状与未来发展-技术方案-
views 1414
Spark的发展 对于一个具有相当技术门槛与复杂度的平台,Spark从诞生到正式版本的成熟,经历的时间如此之短,让人感到惊诧。2009年,Spark诞生于伯 克利大学AMPLab,最开初属于伯克利大学的研究性项目。它于2010年正式开源,并于2013年成为了Aparch基金项目,并于2014年成为...
移动互联时代CFO变身记
views 2016
美国零售巨头Target在邮件中向一位中学女生推荐孕婴用品及其优惠券,被其父亲强烈质疑与抗议,在获得道歉后,父亲却发现女儿真的怀孕了。Target这个广为流传的故事,被认为是其在大数据营销等方面精密的探索。 不过在客户身上搜集信息用于营销决策,也可能存在数据安全的风险。2014年1月,Target公...
了解用于大数据解决方案的逻辑层-技术方案...
views 1489
文中介绍的模式有助于定义大数据解决方案的参数。本文将介绍最常见的和经常发生的大数据问题以及它们的解决方案。原子模式描述了使用、处理、访问和存储大数据的典型方法。复合模式由原子模式组成,并根据大数据解决方案的范围进行分类。由于每个复合模式都有若干个维度,所以每个模式都有许多变化。复合模式使得业务和技术...
大数据未来发展趋势预测
views 2809
大数据的世界正在稳步发展壮大。随着数据数量和种类的不断膨胀,读者都想知道接下来会发生什么。Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授。同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职。他融汇理论与实践于一身,他绝对是回答“2014年企业大数据发展趋势”的正...
谁在用阿里云?云计算用户须知10个问题...
views 1939
云计算喊了好几年了,笔者很好奇,到底什么样的用户在使用,以及这些用户在采购和使用云计算时是基于一种怎样的场景、需求和心态?   根据工信部电信研究院在其《云计算白皮书》(2014)中披露的统计数据。在全球排名前50万的网站中,约有2%采用了公共云服务,其中80%的网站采用了亚马逊和Rackspace...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行