Google的云计算原理与应用

时间:14-10-18 栏目:Google 作者:爱说云网 评论:0 点击: 2,113 次

Google业务

Ø全球最大搜索引擎、Google Maps、Google Earth、Gmail、YouTube等——特点:数据量庞大、面向全球用户提供实时服务

Google云计算平台技术架构

¢文件存储,Google Distributed File System,GFS

¢并行数据处理MapReduce

¢分布式锁Chubby

¢分布式结构化数据表BigTable

¢分布式存储系统Megastore

¢分布式监控系统Dapper

一、Google文件系统GFS

分三大块来讲的,系统架构、容错机制、系统管理技术

1、系统架构

Client(客户端):应用程序的访问接口

Master(主服务器):管理节点,在逻辑上只有一个,保存系统的元数据,负责整个文件系统的管理

ChunkServer(数据块服务器):负责具体的存储工作。数据以文件的形式存储在ChunkServer上

关于上面的架构图之前看到过一篇博客,上面对其机架感知(Rack Awareness)机制有一个简单的表示,很可惜博客竟未找到,大致是:

对于Rack Awareness——Rack1:Chunk1 、Chunk4、Chunk7……Rack n:Chunk2、Chunk 5、Chunk6……

而对于ns:file——Chunk1、Chunk2……

这样,两者一结合,查找文件块、甚至对相对的查找的优化等比较方便

GFS特点:

采用中心服务器模式

u可以方便地增加Chunk Server

u Master掌握系统内所有Chunk Server的情况,方便进行负载均衡

u不存在元数据的一致性问题

不缓存数据

˜文件操作大部分是流式读写,不存在大量重复读写,使用Cache对性能提高不大

˜ Chunk Server上数据存取使用本地文件系统,若读取频繁,系统具有Cache

˜从可行性看,Cache与实际数据的一致性维护也极其复杂

在用户态下实现

    ¨利用POSIX编程接口存取数据降低了实现难度,提高通用性

    ¨POSIX接口提供功能更丰富

    ¨用户态下有多种调试工具

    ¨Master和Chunk Server都以进程方式运行,单个进程不影响整个操作系统

    ¨GFS和操作系统运行在不同的空间,两者耦合性降低

只提供专用接口

    ¢降低实现的难度

    ¢对应用提供一些特殊支持

    ¢降低复杂度

2、容错机制

Master容错

Name Space,文件系统目录结构 

Chunk与文件名的映射

Chunk副本的位置信息(默认有三个副本) 

单个Master,对于前两种元数据,GFS通过操作日志来提供容错功能

第三种元数据信息保存在各个ChunkServer上,Master故障时,磁盘恢复

GFS还提供了Master远程的实时备份,防止Master彻底死机的情况

Chunk Server容错

u采用副本方式实现Chunk Server容错

¨每一个Chunk有多个存储副本(默认为三个),分布存储在不同的Chunk Server上用户态的GFS不会影响Chunk Ser

ver的稳定性

¨副本的分布策略需要考虑多种因素,如网络的拓扑、机架的分布、磁盘的利用率等

¨对于每一个Chunk,必须将所有的副本全部写入成功,才视为成功写入 

 

尽管一份数据需要存储三份,好像磁盘空间的利用率不高,但综合比较多种因素,加之磁盘的成本不断下降,采用副本

无疑是最简单、最可靠、最有效,而且实现的难度也最小的一种方法。

 

¨ GFS中的每一个文件被划分成多个Chunk,Chunk的默认大小是64MB

¨Chunk Server存储的是Chunk的副本,副本以文件的形式进行存储
¨ 每个Chunk又划分为若干Block(64KB),每个Block对应一个32bit的校验码,保证数据正确(若某个Block错误,
则转移至其他Chunk副本)
系统管理技术
二、分布式数据处理MapReduce
1、产生背景

MapReduce

Ø一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。

Ø“Map(映射)”、“Reduce(化简)”的概念和主要思想,都是从函数式编程语言(

适合于结构化和非结构化的海量
 
 
数据的搜索、挖掘、分析与机器智能学习等)和矢量编程语言借鉴 
 

u计算问题简单,但求解困难

–待处理数据量巨大(PB级),只有分布在成百上千个节点上并行计算才能在可接受的时间内完成

    –如何进行并行分布式计算?

–如何分发待处理数据?

–如何处理分布式计算中的错误?

 

JefferyDean设计一个新的抽象模型,封装并行处理、容错处理、本地化计算、负载均衡的细节,还提供了一个简单而强大的

接口

这就是MapReduce

 
2、编程模型

怎么用MapReduce计算一个大型文本文件中各单词出现次数?Map的输入参数指明了需要处理哪部分数据,以“<在文本中的起始位置,需要处理的数据长度>”表示,经过Map
 
处理,形成一批中间结果“<单词,出现次数>”。而Reduce函数处理中间结果,将相同单词出现的次数进行累加,
 
 
得到每个单词总的出现次数3、实现机制
 
操作过程

(1)输入文件分成M块,每块大概16M~64MB(可以通过参数决定),接着在集群的机器上执行分派处理程序

 

(2)M个Map任务和R个Reduce任务需要分派,Master选择空闲Worker来分配这些Map或Reduce任务

(3)Worker读取并处理相关输入块,Map函数产生的中间结果<key,value>对暂时缓冲到内存

(4)中间结果定时写到本地硬盘,分区函数将其分成R个区。中间结果在本地硬盘的位置信息将被发送回Master,然后Maste

 
r负责把这些位置信息传送给ReduceWorker (5)当Master通知执行Reduce的Worker关于中间<key,value>对的位置时,它调用远程过程,从MapWorker的本地硬盘上读取

缓冲的中间数据。当Reduce Worker读到所有的中间数据,它就使用中间key进行排序,这样可使相同key的值都在一起

(6)Reduce Worker根据每一个唯一中间key来遍历所有的排序后的中间数据,并且把key和相关的中间结果值集合传递给用户

定义的Reduce函数。Reduce函数的结果写到一个最终的输出文件

 

(7)当所有的Map任务和Reduce任务都完成的时候,Master激活用户程序。此时MapReduce返回用户程序的调用点个区

 
本地硬盘的位置信息将被发送回Master,然后Master负责把这些位置信息传送给ReduceWorker
 
案例分析假设有一批海量的数据,每个数据都是由26个字母组成的字符串,原始的数据集合是完全无序的,怎样通过MapReduce完成
 
排序工作,使其有序(字典序)呢? ——排序通常用于衡量分布式数据处理框架的数据处理能力
 



 
 
 
 
 
 
 

相关文章

不懂OpenStack你还搞什么云计算?
views 2355
OpenStack是目前拥有最多传统IT巨头支持的云架构开源项目,如IBM、HP、Cisco等,它也是全球各个领域最主流的开源公司如RedHat、RackSpace、Marantis等的选择。更令人激动的是,OpenStack同时也是Start up的造梦平台,这个开源技术和商务架构,能让靠技术为王...
云计算ERP是否已经到来?
views 1945
最近 甲骨文和 SAP公司频频收购 SaaS 云计算创业公司,如 RightNow、SuccessFactors以及Taleo。但更引人注目的是甲骨文和 SAP 的竞争对手 Saleforce 和 workday 的几次收购。这些公司的连续收购表明,云计算已经在企业市场上慢慢崛起,同时也为 ERP(...
阿里云宣布入门产品免费试用半年 撼动市场格局...
views 1999
7月15日,阿里云计算宣布:云服务器、云数据库等四款核心基础产品,新用户免费试用半年后再付费。创业者不花一分钱,就能快速完成网站和应用的部署。这一投入上亿元的举措,对广大中小站长和开发者拥有巨大吸引力,将真正意义上撼动传统IT产业格局。 此次的免费试用,主要针对用户购买率最高的四款基础产品,包括云服...
CIO的新武器:虚拟化有效简化IT系统
views 2180
在路虎CTO Gordon McMullan 眼中,虚拟化技术就像给路虎插上了一对翅膀,有力支持了公司的全球扩张计划,McMullan介绍说:现有的虚拟化系统里,公司的所有数据、应用程序以及知识产权信息都放在英国本土,有非常专业的人员对其进行维护。同时,虚拟化平台为全球各地工程师提供了便利的接入设置...
戴尔与贵阳市政府开展大数据及云计算领域合作...
views 1962
北京,2015年1月20日——戴尔今天宣布,与贵阳市政府签署合作备忘录,双方将在大数据、云计算等领域展开一系列合作,通过共建云联合实验室、搭建混合企业云平台以及开展相关大数据人才培训等方式,建立广泛而深入的合作伙伴关系。在贵阳市政府的大力支持下,戴尔将进一步拓展在中国企业级市场的覆盖,助力中国地方经...
应用破局之云计算创造企业商业价值
views 1883
 马云曾经谈到,互联网本身不是对传统产业的一种替代,而是互联网经济加上这种传统的实体经济,那么最终他融合产生的是一个新经济的一个形态,那么这种新的经济形态应该是一个什么样子,在12月19号举办的CIO年会上,来自阿里云的业务总监刘克鸿先生为我们带了一场,关于应用破局,云计算创造企业商业价值的主题演讲...
如何制定云计算方案:以应用丈量已知改变...
views 1965
定义云计算的说法有很多,在此我们从狭、广两层来简单阐述:“狭义云计算”指IT基础设施的交付和使用模式,是通过网络以按需、易扩展的方式获得所需资源。而“广义云计算”指服务的交付和使用模式,即通过网络以按需、易扩展的方式获得所需服务,简单理解为:服务运营模式。 所谓真正的云计算,它是IT基础设施的...
Amazon EC2产品详情
views 3020
Amazon EC2 功能 Amazon EC2 向您提供了一个真正的虚拟计算环境,让您使用 Web 服务接口启动多种操作系统的实例,通过自定义应用环境加载这些实例,管理您的网络访问权限,并根据自己需要的系统数量来运行您的映像。 要使用 Amazon EC2,您只需: ...

声明: 本文由( 爱说云网 )原创编译,转载请保留链接: Google的云计算原理与应用

Google的云计算原理与应用:等您坐沙发呢!

发表评论


读者排行