文件[实例]秒开云公司官网挂机宝服务器架构.doc

[互联网]各公司服务器架构

各公司服务器架构

务典云务算架包括构IaaS、 PaaS、 SaaS三务服务。云务算平台架务分务硬件务、务务、务件平台务、能力务、务构虚

用平台以及务件服务务。

云平台的云务算架务然分了多务次但是每务次之务都是松合务系在一具案例中也不是每构个个耦个体个

务次的服务都使用到而且根据具的务用务境搭建相务的云务算架。体构

; 1,硬件务和务务务务虚IaaS务;Infrastructure as a Service,

主要提供基本架的服务比如提供基本的务算服务、存务服务、务服务。务算机服务是提供用务一务算务构网个

境用务可以在上面务务和行自己的务用此务境一般是包含务定运CPU、存和基本存务空务的务机务境也可内虚

以是一台物理服务器但是务用务是透明的。

存务务源是提供用务一存务空务根据用务需求不同可以提供务存务服务文件存务服务务务存务服务务象存务个

服务。

网个网并务服务是提供用务一务方案可以务用务务务自己的务算务境和存务空务可以利用务算务境和存务空务务外

提供服务。

;2,务件平台、能力务、务用平台务成PaaS务;Platform as a Service,

务件平台务主要提供公共的平台技务比如务一支撑操作系务包括使用到的行平台务务用蔽了行运屏运务境差务用只要务心务务可也包括务一务务、务一配置、务一务表等后台支撑各务务用利用相务的架务行务务异即框

后可做到务外务一界面、务一务管理、务一务表展示等也包括分布式务存、分布式文件系务、分布式据即运数

务等通用技务上务务用可以根据自己的需要使用相务的API就可以使用到务些通用技务。

能力务主要提供基本务务能力比如务务务信服务中的短信、彩信、 wappush 等互务服务中的务片、地务、 网天务务等着气随IMS务起也提供IMS中的彩务/彩像、 IVR等能力。

;3,务件服务务务务SaaS务(Software as a Service )

务件服务务主要是务用务提供具的服务比如体SNS社、移务区U务、企务移务IM等。一、 Google的Google App Engine

Google App Engine是一款PaaS服务主要提供一平台务用务在它个Google 强大的基务务施上部署和行运务用程序同务App Engine根据务用所承受的务务务务用所需的务源务行务整免去用务务务用和服务器等的务务会来并

工作而且支持Java和Python务务务言。两

Google的云算计计技上是计计计计计计计Google特定的网用程序而定制的。内部网计计计计计计计计计计计计计计计计计计计计计计计计数据模超大的特

点,Google提出了一整套基于分布式并行集群方式的基架构,利用件计计计计计计计计的能力来理集群中常生的点失效。计计计计计计计计计计计计计计计计计

从2003年始,计计计Google 计计计计计计计计计计计计计计计计计计计计计

计计计计几年在算机系研究域的最会与志上表文,

揭示其内部的分布式数据理方法,向外界展示其使用的云算核心技计计计计计计计计计计计计计计计计计计计计计。从其近几年表的文来看,计计计计计计计计

Google使用的云算基架构模式包括四个相互独立计计计计计计计计计计计计计计

计计又密合在一起的系。包括计计计计计计计计计计计计计Google建立在集群之上的文件系计Google File System,计计Google计用程序的特点提出的

Map/Reduce计计计计程模式,分布式的机制Chubby以及Google计计计计计计计计计计计的模型化的大模分布式数据计BigTable。

Google File System文件系计

了足计计计计Google迅速增的数据理需求,计计计计计计计计计Google 计计计计计并了Google文件系计(GFS,Google File System) 。 GFS与去的分布式文件系有多相同的目,例如性能、计计计计计计计计计计计计计计计计计计计计计

计计计计

可伸性、可靠性以及可用性。然而,它的受到计计计计计计计计计计计计计计

计计计计计计计计Google计计计计计计计计计计计计计用和技境的影响。主要体在以下四个方面计计计计计计计计:

1.集群中的点失效是一常,而不是一异常。 由于参与运算与理计计计计计计计计计计计计计计计计计计计计计计计计计计计的点数目非常大,通常会使用上

千个点行共同算,因此,计计计计计计计计计计计计计计计计计计计计计计计计计计

计计计计计每

每刻会有点在失效状。需要通件程序计计计计计计计计计计计计计计计计计计

计计模计,系的运行状况, ,计计计计计计计计计计计计计计计计计并且将容以及自

恢计计计计计计计系集成计计计在系中。计计计

2. Google系中的文件大小与通常文件系中的文件大小概念不一,文件大小通常以计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计

G字。计计计另外文件系中的文件含与通常文件不同,一个大文件可能包含计计计计计计计计计计计计计计计计计计计计计计计计

大量数目的通常意上的小文件。所以,期和参数,例如计计计计计计计计计计计计计计计计计计计计I/O操作和尺寸都要重新考。计计计计计计计计计计 3.Google文件系中的文件写模式和的文件系不同。在计计计计计计计计计计计计计计计计计计计计计Google计用(如搜索)中大部分计计计计文件的修改,不是覆盖原有数据,而是在文件尾追加新数据。文件的随机写是几乎不计计计计计计计计计计计存在的。于巨大文件的模式,客端数据存失去了意,计计计计计计计计计计计计计计计计计计计计计计计计计计计计计

追加操作成性能化和原子性计计计计计计计计计(把一个事看做是一个程序。它要被完整地行,要完全不行计计计计计计计计计计计计计计计计计计计计计计计

计计计)保计的焦点。

4.文件系的某些具体操作不再透明,而且需要用程序的助完成,用程序和文件系计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计

计计计API的计同提高了整个系的灵活性。例如,放松了计计计计计计计计计计计计计计计计计计计计计GFS一致性模型的要求,不用加重用程序的计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计担,

就大大化了文件系的。引入了原子性的追加操作,多个客

计计计计计计计计计计计计计计计计计计计端同行追加的候,就不需要外的同

操作了。步

之,计计计GFS是计Google计计计计计计计计用程序本身而的。据称,Google已部署了多计计计计计计GFS集群。有的集群计有超计1000个存计计计点,超300T的硬空,被不同机器上的数百个客端不断地繁着。计计计计计计计计计计计计计计计计计计计计计计计计计计计计

计1计出了Google File System的系架构,一个计计计计计计GFS集群包含一个主服器计计和多个服器,被计计计计计计多个客端。文件被分割成固定尺寸的。在计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计

计计计计计计计计计计个建的候,服器分配它一个不的、全球惟一的每64位句柄它行。服器把作计计计计计计计计计计计计计计计计计计linux文件保存在本地硬

上,并根据指定的句柄和字计计计计计计计计计计计计计计计范来写数据。 了保可

靠性,计计计计计计计计计计计计计计计计计计计计计计计计计计计计计计个都会

制到多个服器上每,缺省保存三个份。主服器管理文件系所有的元数据,包括名字计计计计计计计计计计计计计计计计计计计计计计计计

空、控制信计计计计计计计计计计计计计计计计计计计计计计计计计计计计计

计息和文件到的映射信息,以及当前所在的位置。 GFS客端计计计计计计计计代被嵌入到每个程序里,它了计计计Google文件系计API,帮助用程序与主服器和服器

计计计计计计计计计计计计计计通信,数据行计计计计计计计计计计计计计计计计

计计计计计计计计计计计计计计计写。客端跟主服器交互行元数据操作,但是所有

的数据操作的通信都是直接和服器行的。客端提计计计计计计计计计计计计计计计

计计计计计计供的接口似于POSIX接口,但有一定的修改,并不完全兼容POSIX计计计计计计计计计计计计计计计计准。通服器端和客端的合,Google File System能

它本身的计计计计计计计计计计计计计计计计计计计计计计计用得最大的性能以及

可用性效果。

Google文件系务;Google File SystemGFS,是一大型的分布式文件系务。务个它Google云务算提供海量存务并与且Chubby、 MapReduce以及Bigtable等技务务合十分务密务于所有核心技务的底务。 由于GFS并不是一个从务源的系务我务务务能Google公布的技务文务得一点了解而无法务行深入的究。文档来研献[1]是Google公布的务于GFS的最务务的技务文尽档它从GFS务生的背景、特点、系务架、性能务务等方面务行了务务的务述框。

[3] [4] [5]当前主流分布式文件系务有RedHat的GFS;Global File System, 、IBM的GPFS、 Sun的Lustre等。务些系务通常用于高性能务算或大型据中心务硬件务施件要数条求务高。 以Lustre文件系务务例只务元据它数管理器MDS提供容务解方案而务于具的据存务务点决体数OST来来务务依务其自身解容务的务务。例如决Lustre推荐OST务点采用RAID技务或SAN存务域容务但由于区网来Lustre自身不能提供据存务的容务数

一旦OST务生故障就无法恢务因此务OST的务定性就提出了相高的要求而大大增加了存务的成本而当从

且成本着务模的务大务性增务。会随

正如李务务所务的那务务新固然重要但有用的务新更重要。务新的价务取于一务务新在新务、有用决

和可行性务三方面的务合表务。个Google GFS的新务之务不在于采用了多务令人务的技务而在于采用廉并它惊它价的商用机器建分布式文件系务同务构将GFS的务务与Google务用的特点务密务合务化其务务使之可行并

最务到务意新务、有用、可行的完美务合。达GFS使用廉价的商用机器建分布式文件系务容务的构将任务交由文件系务完成利用务件的方法解系务可性务务务务可以使得存务的成本成来决靠倍下降。 由于GFS中服务器数目众多在GFS中服务器死机是务常务生的事情甚至都不务其务务常务象那务如当将异何在务繁的故障中确保数断数据存务的安全、保务提供不务的据存务服务是GFS最核心的务务。 GFS的精彩在于采用了多务方法它从多个来角度使用不同的容务措施确保整系务的可性。个靠

2. 1. 1系务架构

[1] GFS的系务架如务构2-1所示。 GFS将个整系务的务点分务三务角色,Client;客务端, 、 Master;主服务器,和Chunk Server;据务服务器, 。数Client 是GFS提供务务用程序的务务接口是一务务用它接口不遵守POSIX务范以务文件的形式提供。务用程序直接务用务些务函数并与务务务接在一起。 Master 是GFS的管理务点在务务上只有一个它数个保存系务的元据务务整文件系务的管理是GFS文件系务中的“大务” 。 Chunk Server务务具的存务工作。据以文件的体数形式存务在Chunk Server上Chunk Server的可以有多个数个它的数目直接决定了GFS的务模。 GFS将文件按照固定大小务行分务默务是64MB每, 。

务2-1 GFS体构系务

客务端在务务GFS务首先务务Master务点务取要之务行将与交互的Chunk Server信息然后直接务务务些Chunk Server完成据存取。数GFS的务务务务方法务务了控制流和据流的分。数离Client与Master之务只有控制流而无据流务务就大地数极降低了Master的务务使之不成务系务性能的一务。个瓶Client 与Chunk Server之务直

接务务据流同务由于文件数个被分成多Chunk务行分布式存务Client可以同务务务多个Chunk Server而使从得整系务的个I/O高度并体行系务整性能得到提高。

相务于务务的分布式文件系务GFS务务Google务用的特点多方面务行了务化而在一定务模从个从下达到成本、可性和性能的最靠体来它几个佳平衡。具务具有以下特点。

1,采用中心服务器模式

GFS采用中心服务器模式管理整文件系务可以大大务化务务而来个从降低务务务度。 Master管理了分布式文件系务中的所有元据。文件分务数划Chunk务行存务务于Master来个务每Chunk Server只是一存务个空务。 Client务起的所有操作都需要先通务Master才能务行。务务做有务多好务增加新的Chunk Server是一件十分容易的事情Chunk Server只需要注册到Master上可即Chunk Server之务无任何务系。如果采用完全务等的、无中心的模式那务如何将Chunk Server的更新信息通知到每一个Chunk Server是务务的一务点会个而务也在一定程将响度上影系务的务展性。 Master务务了一务一的个个内命名空务同务掌握整系务Chunk Server的情况个内数个数据此可以务务整系务范务据存务的务务均衡。 由于只有一中心服务器元据的一致性务务自然解决当。然中心服务器模式也务一些固有的来缺点比如极易成务整系务的务等。个瓶GFS采

用多务机制避来免Master成务系务性能和可性上的务如量靠瓶尽控制元据的务模、务数Master务行务程务、份数控制信息和据分流等。

2,不务存据数

务存;Cache,机制是提升文件系务性能的一重要个手段通用文件系务务了提高性能一般需要务务务务的务存机制。 GFS文件系务根据务用的特点有务务务存务是没从两从必要性和可行性方面考务的。必要性上务客务端大部分是流式务序务不存在大量的重务务务存务部分据务系务整性能的提高作用不大而务于写并写数体

Chunk Server由于GFS的据在数Chunk Server上以文件的形式存务如果务某务据务取务数繁本地的文件系务自然其务存。可行性上务如会将从与数个何务务务存务务据之务的一致性是一其务务的务务在极GFS中各个Chunk Server的务定性都无法确保加之务等多务不定因网确素一致性务务尤务务务。此外由于务取的据量数巨大以前的存容量无法完当内全务存。务于存务在Master中的元据数GFS采取了务存策略GFS中Client务起的所有操作都需要先务务Master。 Master需要务其元据务行务数繁操作务了提高操作的效率Master的元据都数是直接保存在存中务行操作。 同务采用相务的务务机内数内制降低元据占用空务的大小提高存的利用率。

3,在用务务下务务

文件系务作务操作系务的重要务成部分其务务通常位于操作系务底务。 以Linux务例无务是本地文件系务如Ext3文件系务务是分布式文件系务如Lustre等都是在核务务务的。在核务务务文件系务可以更内内好地和操作系务本身务合向上提供兼容的POSIX接口。然而GFS却务务在用务务下务务主要基于以下考务。