集群永不宕机的云服务器-一种基于服务器、集群存储和虚拟机的实现

服务器宕机  时间:2021-02-16  阅读:()

永不宕机的云服务器-一种基于服务器、集群存储和虚

拟机的实现

北京美地森科技有限公司

永不宕机的云服务器永不宕机的云服务器

一种基于服务器、集群存储和虚拟机的实现

2011年4月

主机性临的战主机可用性面临的挑战

主机存储带来的险??主机存储不可用带来的风险

9存储失败导致无法提供服务存储失败导致无法提供服务

9存储无法恢复导致无法恢复服务

主机存储共享的困难??主机存储共享的困难

9主机在物理机之间迁移需要灵活的存储共享机制

存储是服务的基础存储的失败会带来灾难性的后果存储是服务的基础存储的失败会带来灾难性的后果

虚拟机为存储提出了更高的要求

应对战的方案传统存储应对挑战的方案传统存储

?? SAN + clustered fs(gfs2/vmfs)

NA S?? NA S

?? SAN/NAS never fail?

9 expensive SAN/NAS never fail, maybe

传统的方案相对成熟可靠能够解决传统IT领域的大部分问题然而对于成本敏感传统的方案相对成熟可靠能够解决传统IT领域的大部分问题。然而对于成本敏感

领域 比如互联网并不是最好的选择

应对战的方案分布式文件统应对挑战的方案分布式文件系统

致性:??一致性:

9多数dfs实现为最终一致性

9主机要求顺序一致性

??性能??性能

9 Dynamo:300ms @ 500iops/per node

9主机一般需要控制在20ms级别

DFS在web分布式计算已经有大量成功的应用然而多数DFS并不适合用来存储虚拟机镜像主DFS在web、分布式计算已经有大量成功的应用然而多数DFS并不适合用来存储虚拟机镜像主

要表现在延迟和一致性两个方面。

我们都知道 latency will kill the performance

那么我们能不能实现一个对虚拟机友好的DFS?

我们的方案特性我们的方案特性

为虚拟机优化的集群文件系统??为虚拟机优化的集群文件系统

9 Google file system like arch

??一致性

9 Sequence consistentSeque ce co s ste t

??性能

Read:30ms avg@200 iops/per disk9 Read:30ms avg@ 200 iops/per disk

9 Write: 10ms avg @ 70 iops/per disk

在一个32节点 192块盘的集群中我们得到3万iops的读性能和5000iops的写性能

我们的方案难度我们的方案难度

强致高用低延迟的要求导致分区容忍性降限制了??强一致高可用低延迟的要求导致分区容忍性下降。限制了

集群的规模

??单master构架带来性能瓶颈需要尽量避免master操作

??缓存一致性带来代码复杂度的挑战缓存致性带来代码复杂度的挑战

CAP原理

一致性(Consistency)

可用性(Availability)

分区容忍性(Partition tolerance)

三者不可得兼所有分布式系统都只是在这三种特性中取舍平衡而来三者不可得兼。所有分布式系统都只是在这三种特性中取舍平衡而来

我们的方案实我们的方案实现

分区??分区

9较小规模的集群减少跨交换机带来的延迟(32 node)

??一致性

9所有副本write through

采用l k解决缓存致性9采用oplock解决缓存一致性

??可用性

主多备9 master一主多备

9多副本

完全基于x86服务器的解决方案存储和虚拟机和并在一组服务器中尽可能减少网络延迟对性能

造成的影响write through并不可怕只要适当的优化仍然可以获得良好的性能盛大游戏案例盛大游戏案例

??运行情况

92010年6月启动

9100个测试节点上海电信外高桥机房50台北京联通亦庄机房50台9虚拟机、存储共用一组X86架构服务器

9虚拟化比例5: 19虚拟化比例5: 1

9宕机实时处理时间大幅降低

盛大游戏案例盛大游戏案例

??功能

9通过UI进行虚拟机管理

9支持虚拟机在线迁移9支持虚拟机在线迁移

9保证物理器宕机时虚拟机的高可用(可以自动在其它物理服务器上启动)

??性能

9大文件的顺序读写性能优秀

9小文件的随机读写性能优秀

9读写性能随集群服务器(存储节点)增加而提升9读写性能随集群服务器(存储节点)增加而提升

??可靠性

9在不大于数据冗余份数的前提下,发生以下故障时,系统仍可正常工作:

磁盘损坏务络中务宕机宕机务运行的虚拟机会在其它务9磁盘损坏,服务器网络中断,服务器宕机(宕机服务器所运行的虚拟机会在其它服务

器上重新启动)

9在整个集群断网或断电情况下,做到数据安全不丢失,恢复后虚拟机仍可继续使用.

未来新的构架未来:新的构架

按备的物分布划分存储域在增加??按照设备的物理分布划分存储域在不增加延

迟的情况下缓解可小集群带来的管理问题迟的情况下缓解可小集群带来的管问题

??分布式的master缓解单master的写性能问

题题

美地森科技介绍美地森科技介绍

??名称由来美地森/MediaCenter??名称由来美地森/MediaCenter??技术积累始于2004年

??成立时间 2007年5月

??核心技术 集群存储

??初创成果研发成功核心技术YFS集群文件系统在此基础上实现?? SS i l S S?? USS?- Universal?Storage?System

??WHS?- Web?Hosting?System

??WSS - Web Storage System中中

中国铁通中国铁通g y

美地森科技美地森科技

中国移动中国移动澳客网澳客网

盛大游戏盛大游戏湖南卫视湖南卫视

安博教育安博教育

Thank you Thank you

无忧云:服务器100G高防云服务器,bgpBGP云,洛阳BGP云服务器2核2G仅38.4元/月起

无忧云怎么样?无忧云值不值得购买?无忧云,无忧云是一家成立于2017年的老牌商家旗下的服务器销售品牌,现由深圳市云上无忧网络科技有限公司运营,是正规持证IDC/ISP/IRCS商家,主要销售国内、中国香港、国外服务器产品,线路有腾讯云国外线路、自营香港CN2线路等,都是中国大陆直连线路,非常适合免备案建站业务需求和各种负载较高的项目,同时国内服务器也有多个BGP以及高防节点。目前,四川雅安机房,4...

HostMem,最新优惠促销,全场75折优惠,大硬盘VPS特价优惠,美国洛杉矶QuadraNet机房,KVM虚拟架构,KVM虚拟架构,2核2G内存240GB SSD,100Mbps带宽,27美元/年

HostMem近日发布了最新的优惠消息,全场云服务器产品一律75折优惠,美国洛杉矶QuadraNet机房,基于KVM虚拟架构,2核心2G内存240G SSD固态硬盘100Mbps带宽4TB流量,27美元/年,线路方面电信CN2 GT,联通CU移动CM,有需要美国大硬盘VPS云服务器的朋友可以关注一下。HostMem怎么样?HostMem服务器好不好?HostMem值不值得购买?HostMem是一家...

企鹅小屋6折年付240元起,美国CN2 GIA VPS促销,独享CPU,三网回程CN2 GIA

企鹅小屋怎么样?企鹅小屋最近针对自己的美国cn2 gia套餐推出了2个优惠码:月付7折和年付6折,独享CPU,100%性能,三网回程CN2 GIA网络,100Mbps峰值带宽,用完优惠码1G内存套餐是年付240元,线路方面三网回程CN2 GIA。如果新购IP不能正常使用,请在开通时间60分钟内工单VPS技术部门更换正常IP;特价主机不支持退款。点击进入:企鹅小屋官网地址企鹅小屋优惠码:年付6折优惠...

服务器宕机为你推荐
免费开通黄钻怎样能免费开通黄钻会员万网核心代理在万网代理商购买万网产品,谁知道价格?知道的说下?万网核心代理哪里可以注册免费代理?pwPW考试是指什么伪静态如何设置伪静态规则伪静态怎么做伪静态?镜像文件是什么什么是镜像文件啊硬盘人什么叫“软盘人”和“硬盘人”?人人逛街人人都喜欢逛街吗安装迅雷看看播放器如何用手机安装迅雷看看播放器
顶级域名 西安电信测速 美国主机评测 lunarpages pw域名 l5520 evssl证书 http500内部服务器错误 win8.1企业版升级win10 云鼎网络 dux 创梦 域名转向 刀片服务器是什么 韩国名字大全 ftp免费空间 台湾谷歌 怎么建立邮箱 raid10 四川电信商城 更多