集群永不宕机的云服务器-一种基于服务器、集群存储和虚拟机的实现

永不宕机的云服务器-一种基于服务器、集群存储和虚

拟机的实现

北京美地森科技有限公司

永不宕机的云服务器永不宕机的云服务器

一种基于服务器、集群存储和虚拟机的实现

2011年4月

主机性临的战主机可用性面临的挑战

主机存储带来的险??主机存储不可用带来的风险

9存储失败导致无法提供服务存储失败导致无法提供服务

9存储无法恢复导致无法恢复服务

主机存储共享的困难??主机存储共享的困难

9主机在物理机之间迁移需要灵活的存储共享机制

存储是服务的基础存储的失败会带来灾难性的后果存储是服务的基础存储的失败会带来灾难性的后果

虚拟机为存储提出了更高的要求

应对战的方案传统存储应对挑战的方案传统存储

?? SAN + clustered fs(gfs2/vmfs)

NA S?? NA S

?? SAN/NAS never fail?

9 expensive SAN/NAS never fail, maybe

传统的方案相对成熟可靠能够解决传统IT领域的大部分问题然而对于成本敏感传统的方案相对成熟可靠能够解决传统IT领域的大部分问题。然而对于成本敏感

领域 比如互联网并不是最好的选择

应对战的方案分布式文件统应对挑战的方案分布式文件系统

致性:??一致性:

9多数dfs实现为最终一致性

9主机要求顺序一致性

??性能??性能

9 Dynamo:300ms @ 500iops/per node

9主机一般需要控制在20ms级别

DFS在web分布式计算已经有大量成功的应用然而多数DFS并不适合用来存储虚拟机镜像主DFS在web、分布式计算已经有大量成功的应用然而多数DFS并不适合用来存储虚拟机镜像主

要表现在延迟和一致性两个方面。

我们都知道 latency will kill the performance

那么我们能不能实现一个对虚拟机友好的DFS?

我们的方案特性我们的方案特性

为虚拟机优化的集群文件系统??为虚拟机优化的集群文件系统

9 Google file system like arch

??一致性

9 Sequence consistentSeque ce co s ste t

??性能

Read:30ms avg@200 iops/per disk9 Read:30ms avg@ 200 iops/per disk

9 Write: 10ms avg @ 70 iops/per disk

在一个32节点 192块盘的集群中我们得到3万iops的读性能和5000iops的写性能

我们的方案难度我们的方案难度

强致高用低延迟的要求导致分区容忍性降限制了??强一致高可用低延迟的要求导致分区容忍性下降。限制了

集群的规模

??单master构架带来性能瓶颈需要尽量避免master操作

??缓存一致性带来代码复杂度的挑战缓存致性带来代码复杂度的挑战

CAP原理

一致性(Consistency)

可用性(Availability)

分区容忍性(Partition tolerance)

三者不可得兼所有分布式系统都只是在这三种特性中取舍平衡而来三者不可得兼。所有分布式系统都只是在这三种特性中取舍平衡而来

我们的方案实我们的方案实现

分区??分区

9较小规模的集群减少跨交换机带来的延迟(32 node)

??一致性

9所有副本write through

采用l k解决缓存致性9采用oplock解决缓存一致性

??可用性

主多备9 master一主多备

9多副本

完全基于x86服务器的解决方案存储和虚拟机和并在一组服务器中尽可能减少网络延迟对性能

造成的影响write through并不可怕只要适当的优化仍然可以获得良好的性能盛大游戏案例盛大游戏案例

??运行情况

92010年6月启动

9100个测试节点上海电信外高桥机房50台北京联通亦庄机房50台9虚拟机、存储共用一组X86架构服务器

9虚拟化比例5: 19虚拟化比例5: 1

9宕机实时处理时间大幅降低

盛大游戏案例盛大游戏案例

??功能

9通过UI进行虚拟机管理

9支持虚拟机在线迁移9支持虚拟机在线迁移

9保证物理器宕机时虚拟机的高可用(可以自动在其它物理服务器上启动)

??性能

9大文件的顺序读写性能优秀

9小文件的随机读写性能优秀

9读写性能随集群服务器(存储节点)增加而提升9读写性能随集群服务器(存储节点)增加而提升

??可靠性

9在不大于数据冗余份数的前提下,发生以下故障时,系统仍可正常工作:

磁盘损坏务络中务宕机宕机务运行的虚拟机会在其它务9磁盘损坏,服务器网络中断,服务器宕机(宕机服务器所运行的虚拟机会在其它服务

器上重新启动)

9在整个集群断网或断电情况下,做到数据安全不丢失,恢复后虚拟机仍可继续使用.

未来新的构架未来:新的构架

按备的物分布划分存储域在增加??按照设备的物理分布划分存储域在不增加延

迟的情况下缓解可小集群带来的管理问题迟的情况下缓解可小集群带来的管问题

??分布式的master缓解单master的写性能问

题题

美地森科技介绍美地森科技介绍

??名称由来美地森/MediaCenter??名称由来美地森/MediaCenter??技术积累始于2004年

??成立时间 2007年5月

??核心技术 集群存储

??初创成果研发成功核心技术YFS集群文件系统在此基础上实现?? SS i l S S?? USS?- Universal?Storage?System

??WHS?- Web?Hosting?System

??WSS - Web Storage System中中

中国铁通中国铁通g y

美地森科技美地森科技

中国移动中国移动澳客网澳客网

盛大游戏盛大游戏湖南卫视湖南卫视

安博教育安博教育

Thank you Thank you