浅论Hadoop应用工作思路

时间:14-12-30 栏目:大数据技术文章 作者:爱说云网 评论:0 点击: 1,921 次

随着企业对大数据越来越重视,hadoop应用达到了前所未有的高度。今天聊聊hadoop应用的工作思路,我想了下以下几方面,和大家一起讨论:

 

首先最重要的是建立一支以开发人员为主的团队。

Hadoop虽然很火,但是还是在初级阶段,开源的东西存在业务不完全匹配,成熟度低等诸多问题。所以不管是什么公司,什么部门,应该建设一支以开发人员为主的团队。立足于能读懂开源代码,能修改bug,可以根据自己的场景进行适度匹配。

团队建立之后,以团队技能成熟度模型为指导,牵引团队技能逐渐成熟,达到事成人爽。关于团队成熟度,以前写过一篇博文《开源软件使用3个level》。

活都是人干出来的,好的团队,事情能干成,差的团队也能把事情干砸,所以各个公司的老板,经理再打算部署hadoop时,先应该把团队建设放首位。

 

第二,确立工作总体思路。基于自己公司的当前现状,业务的需求,每个阶段都应该确立工作的指导思路。是自立更生为主,还是应用为主。指导思路确定,工作工作才能有条不紊的开展。不同阶段的,思路应该是不一样,不要抱残守缺。IT行业变化很快,工作思路也应该根据客观条件的变化积极转变。

 

第三,重视知识管理。Hadoop技术发展很快,各种开源软件日新月异,知识爆炸很厉害。所以追踪开源发展,各种技术的学习天天有。整个团队要重视知识管理,知识技能可以得到继承。团队成员的流失和新加入,应该不会明显影响整个团队成熟度。

 

第四,创建自己的bendchmark。每种业务对应不同的场景,所以hadoop应用团队开展工作的第一件事情,就是建立适合自己业务的bendchmark。最好的不一定好,合适的才是最好。

 

第五,选型应该坚持one fit a branch。没有一个包打天下的组件和解决方案。各种组件应该组合思路,各取所长。

相关文章

谷歌技术”三宝”之BigTable — 大数据云计算时代...
views 2128
2006年的OSDI有两篇google的论文,分别 是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统, 构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了Big...
IBM李永辉:从人工智能到大数据的终点...
views 2004
人工智能技术在大数据领域发挥的作用日益重要,IT技术人员对IBM Waston的兴趣也与日俱增。近日,IBM科技部的杰出工程师李永辉参加了 2014年中国大数据技术大会,并接受了CSDN云计算的专访,以Waston为例分析了人工智能技术的行业应用实践和前景。李永辉认为,通过结构化数据和非结构化数据的...
数据可视化、信息可视化、知识可视化-技术方案...
views 2551
 概述   数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。但是,这并不就意味着,数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味,或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念,美学形式与功能需要齐头并进,通过直观地传达关键的方面与特征,从而实现对于相当稀疏而又...
百度实时计算平台的实现和应用
views 2209
百度实时计算平台的实现和应用     “大数据”在互联网行业中已是普遍现象,一家公司每天累积的用户行为数据甚至已不能用TB来衡量。海量数据对实时分析和计算提出了更高的要求,实时处理程序必须确保在严格的时间内响应,通常以秒为单位,甚至是毫秒。传统的批量计算模型已无法满足这些要...
大数据挖掘带动的变迁
views 1816
自大数据进入了人们的视线之后,它便逐渐成为人们普遍关注的焦点。大数据讲的是PB时代的科学,本质上大数据的挑战是PB时代的对科学的挑战,更是对包括数据挖掘在内的认知科学的挑战。那么,大数据时代怎么做数据挖掘呢?   在现今时代人们通常所说的大数据主要包括三个来源:第一是自然界大数据,也就是地球上的自然...
大数据时代,科技走到了宗教尽头
views 2170
这是一个人人都言“大数据”的时代,然“大数据”存在于何处?影响于何处?难免,普通大众被席卷而来的“大数据”之潮迷乱了眼睛,搅乱了思绪。正是在这样的时刻,笔者认为尤为重要的是保有敬畏之心与清醒的思维,认识到“大数据”的局限性。 渗透时刻,无处不在的大数据 大数据可能是时下最吸引眼球的话题之一。从通过...
机器学习的9个基础概念和10种基本算法总结-...
views 2195
1.基础概念:   (1) 10折交叉验证:英文名是10-fold cross-validation,用来测试算法的准确性。是常用的测试方法。将数据集分成10份。轮流将其中的9份作为训练数据,1分作为测试数据,进行试验。每次试验都会得出相应的正确率(或差错率)。10次的结果的正确率(或差错率)的平均...
以3D打印和大数据为基础的分布式制造,将彻底打通互联网和制造业...
views 1721
现如今,投资界纷纷将目光聚焦在移动互联网应用、互联网金融以及智能穿戴设备等项目,似乎它们将是一批风口上的猪。不可否认,在互联网与传统行业不断渗透深入的当下,每一个这些项目的推进,都会改变人们的产生生活,都是一片不估量的蓝海。但奇怪的是,一片储量当丰富的金矿,却只是在时代前进的滚滚洪流中闪烁了一下,...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: 浅论Hadoop应用工作思路

浅论Hadoop应用工作思路:等您坐沙发呢!

发表评论


读者排行