浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 1,809 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

大数据应用–实时路况数据
views 2179
现在手机上装个导航软件,如高德地图,百度地图等等都有实时路况显示,导航和道路规划可以根据实时路况来实施,从而动态躲避拥堵,为出行节省时间,为了显示实时路况就必须有路况数据,今天来说下实时数据的获取方法。一般来说有以下几种典型数据来源获取方法: 1、实时路况数据最主要的收集方式,还是浮动车。这个浮动车...
机器学习的9个基础概念和10种基本算法总结-...
views 2124
1.基础概念:   (1) 10折交叉验证:英文名是10-fold cross-validation,用来测试算法的准确性。是常用的测试方法。将数据集分成10份。轮流将其中的9份作为训练数据,1分作为测试数据,进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均...
互联网思维下该如何研究用户,哪里寻求大数据资源?...
views 1766
互联网时代,都倡导以客户需求为导向设计产品,但到底该如何研究用户?哪里寻求到用户资源?大家都在说大数据营销,但该如何利用大数据?哪里寻求这些资源呢?        易卓数据问:现在互联网的时代,都倡导以客户需求为导向设计产品,但是我却不知道该如何研究用户,哪里寻求到我的用户资源,简单的做问卷调查...
云计算“三国时代”:百度有开发者,阿里靠中间人,腾讯要突围...
views 2053
云计算“三国时代”:百度有开发者,阿里靠中间人,腾讯要突围   自从2013年9月腾讯云推出之后,中国云计算市场正式进入三国时代。尽管微软、亚马逊云服务均已入华,中国三大运营商也有云计算产品,京东、新浪等“小巨头”也有云计算产品,但相比三大互联网巨头而言,它们并没有多少存在感。云计算不...
11·11单日1400万单的背后:京东技术首次全解密...
views 1938
随着移动终端和移动应用的发展将互联网的边界从空间和时间维度无限延伸,企业互联网的构建也成为2014年企业IT的一大主题,互联网用户体验的保障则是企业面临的一道坎。在此背景下,阿里、京东等中国电商巨头如何通过技术创新来保证海量订单压力下的用户体验,成为业界研究的热门对象。 对于京东的技术团队而言,由于...
数据、移动化、云计算、电子商务、绿色IT将成为未来5年迫切需要的五个关键技术...
views 1672
根据市场研究资料的整合,对中国未来5年的IT市场进行了预测。伴随经济的发展,中国IT市场将会持续两位数的增长,尤其在新兴的科技领域,包括业务的自动化、智能化,企业的信息化服务,互联网领域的业务新模式应用都会成为未来IT市场发展的带动力。而对于CIO来说,大数据、移动化、云计算、电子商务、绿色IT将成...
华南首个“云计算与大数据”工程硕士今年招生...
views 1826
6月13日,华南地区首个“云计算与大数据专业方向”工程硕士在华南理工大学揭牌。据华南理工大学消息,该专业方向目前已开始面向全国招生。 据了解,华盛顿邮报 分析处理一批无法检索的图片文件,在应用了云计算技术后,一年的工作量在9个小时内全部处理完毕;卡车运输公司U.S. Xpress通过一系列的运输大数...
GFS(Google File System)介绍 — 大数据云计算时代...
views 2298
Google文件系统(Google File System,GFS)是一个大型的分布式文件系统。它为Google云计算提供海量存储,并且与Chubby、MapReduce以及Bigtable 等技术结合十分紧密,处于所有核心技术的底层。由于GFS并不是一个开源的系统,我们仅仅能从Google公布的技...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行