浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 1,579 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

云计算“三国时代”:百度有开发者,阿里靠中间人,腾讯要突围...
views 1801
云计算“三国时代”:百度有开发者,阿里靠中间人,腾讯要突围   自从2013年9月腾讯云推出之后,中国云计算市场正式进入三国时代。尽管微软、亚马逊云服务均已入华,中国三大运营商也有云计算产品,京东、新浪等“小巨头”也有云计算产品,但相比三大互联网巨头而言,它们并没有多少存在感。云计算不...
大数据拼精准 可否触动电商个性营销神经...
views 1365
今日之电商诸侯争霸,可谓火药味甚浓,更推进着产业前进步伐。古语有云:长袖善舞,多钱善贾,意指有所依靠,事情容易成功。随着大数据所爆发出的巨大潜力,在如今的互联网经济时代,玩电商的“有才有财”企业,正在用大数据思维与技术影响着企业业务决策和商业推广思路。可以预测的是,互联网平台大数据分析,正如利剑出鞘...
云计算“走出去”:机遇与挑战并存
views 1993
云计算“走出去”:机遇与挑战并存 2014-10-22 云计算与大数据 云计算是一个能够集中数据和信息资源的产业,因此各国都将其列入严密控制范围之内。例如,我国就对国外云计算企业建设数据中心、开展云服务等有所要求。中国企业在国外也会面临同样的问题。 在近日举行的中俄经济工商界高峰论坛上,某集团...
数据、移动化、云计算、电子商务、绿色IT将成为未来5年迫切需要的五个关键技术...
views 1429
根据市场研究资料的整合,对中国未来5年的IT市场进行了预测。伴随经济的发展,中国IT市场将会持续两位数的增长,尤其在新兴的科技领域,包括业务的自动化、智能化,企业的信息化服务,互联网领域的业务新模式应用都会成为未来IT市场发展的带动力。而对于CIO来说,大数据、移动化、云计算、电子商务、绿色IT将成...
NoSQL代表: Mongo DB(芒果数据库)
views 1929
 一、MongoDB简介         MongoDB是一个基于分布式文件存储的数据库,由C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。(humongous:堆积如山)2011年将被记住,...
《机器学习实战》作者Peter Harrington:如何成为一位数据科学家-技术方案...
views 2057
 现如今,人们的生活无外乎就是这个样子的,早上被闹钟准时叫醒,醒来后喝杯现泡的咖啡、吃上一片现烤的面包片,然后乘坐交通工具去上班。通常在上班的路上还要堵车一小会儿。   虽然生活的每一天都在重复,但却总不是一成不变的。随着物联网技术的不断成熟,越来越多的无生命物体开始变得更加智能。它们通过传感器、...
互联网医疗:大数据如何开启千亿级市场?...
views 1301
在北京301医院计算机应用与管理科副主任赵京利的办公桌上,放着一摞“数据查询统计申请表”,有要查询“环境因素对呼吸疾病影响”的相关病历的,也有要调取异体器官移植的过往案例的,各种查询需求五花八门。 “这样的申请越来越多,每个要求都不一样。要在我们的数据库里调取相关数据,我必须给每个申请单独编写检索...
试读《大数据时代的IT架构设计》
views 1522
大数据”的概念是在最早经历信息爆炸的学科--天文学和基因学中提出来的,而今已经渗透到了各行各业和生活中的方方面面。牛津大学教授维克托曾在《大数据时代》一书中指出,通过对海量数据进行分析,能够获得有巨大价值的产品和服务,或深刻的洞见。大数据引起了商业变革,管理变革,以致思维变革。调整信息系统的架构,使...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行