新一代公有云分布式数据库

UCloudExodus刘坚君UCloud资深数据库研发工程师200920122013201420172019阿里云PolarDB公测UCloudExodus公测AWS发布RDS服务阿里云推出RDSUCloud推出UDBAWSAurora公测公有云数据库发展-关键时间节点云数据库1.
0基于互联网包装和完善传统数据库软件云数据库2.
0基于用户需求特点以及公有云平台和技术,重新进化数据库软件和服务1.
云数据库1.
0的三个问题2.
UCloudExodus的解决之道云数据库1.
0的用户价值弹性:快速部署免运维故障救援:数据恢复慢查询参数调优知识复用:高可用架构读写分离分库分表问题1:容量和性能硬件成本SQL兼容性工程实现难度低硬件成本高SQL兼容性低硬件成本低工程实现难度低工程实现难度高SQL兼容性垂直升级中间件+MySQLNewSQL(Spanner/F1OceanBase等)问题2:用户成本用户的感受:贵我们的观察:云数据库资源近80%处于准空闲状态原因:1.
数据库是高频产品:新项目的开发、测试、上线、老项目的扩容2.
云数据库并非按需使用和计费3.
刚上线的新业务,峰值无法预估4.
衰退期的老项目无法缩容问题3:运营成本硬件成本:机型选型/TCO人力成本:分库分表&业务改造/支持故障救援运营风险:大数量备份/容灾失败UCloudExodus架构图1.
计算和存储分离.
计算层只做SQL解析、事务处理、数据修改等计算操作,真正的存储下放到了底层的分布式存储(UCloudUDisk)2.
计算层和存储层分别扩展3.
数据实时更新到对象存储4.
设计指标:十万级写QPS、百万级读QPS、100TB容量,MySQL100%兼容云数据库1.
0三大问题迎刃而解容量和性能1.
容量达100TB,写入延迟接近于本地SSD,单点写入达到10WQPS2.
针对大部分业务数据库读多写少的特点,增加只读实例实现读性能大幅提升3.
MySQL100%兼容4.
低硬件成本1.
存储容量和计算能力按需扩容,根据业务需求按需付费2.
多个业务的开发、测试环境可共用一套Exodus实例3.
新业务按量逐步扩容,老业务按使用量逐步缩容租用成本运营成本资源成本:计算机型和存储机型分开选型,成本大幅降低人力成本:MySQL100%兼容,无需分库分表、业务改造运营风险:数据实时备份、存储三副本冗余、计算节点秒级迁移UCloudExodus至少和业内发布的三款云数据库2.
0产品,在架构上是相似的.
而作为一家中立无巨头背书的云厂商,如果只是做一个产品和服务能力跟大厂差不多的产品,在市场上没有太大机会那么,UCloudExodus和竞品相比,还能够有什么区别(更大的价值点)更大的难题计算和存储分离架构SQL引擎事务引擎逻辑存储引擎物理存储引擎(分布式存储)SQL引擎事务引擎逻辑存储引擎MasterSlave计算和存储分离,其思路是把数据库的计算层(SQL+事务)和存储层(数据持久化)解耦,打开,各自独立扩展.
要实现高性能,需解决两个问题:1.
IO路径的问题:IO由本地IO变成网络IO,延迟增加吞吐量降低,IO如何优化2.
主从数据同步的问题:读性能的增加依赖于从节点的数量,主从数据如何高效同步,将是平衡可用性和数据一致性的重要问题AWSAurora:Shared-StorageIO路径的问题:1.
数据写入时(计算层到存储层),只写RedoLog不写page,存储节点根据RedoLog重演出page;同时避免Binlog、DoubleWrite写入,最终单事务平均IO为单机MySQL的1/7.
7主从同步的问题:将RedoLog写入到存储层的同时,同步RedoLog到从节点,从节点根据RedoLog更新缓存page,实现数据最终一致Shared-storage:存储层负责page重演、多副本一致性保证、故障恢复、备份还原等操作,包含大量数据库业务逻辑,是一个专门为数据库定制的分布式存储引擎AliyunPolarDB:Shared-DiskIO路径问题:采用最新软硬件技术(RDMA/NVMe/SPDK),对数据库IO路径做极致优化主从同步问题:事务提交时,同步Redolog地址到从节点,从节点从PloarStore加载redolog并刷新page缓存Shared-Disk:从目前公开的论文的资料看,底层存储PolarStore并不针对数据库的特殊逻辑,其作用本质上为一个分布式Disk,故将其归类为Shared-Disk范畴UCloudExodus:Shared-ALL-DiskIO路径的问题:更进一步1.
充分相信未来公有云的底层分布式存储,能提供低延迟(微秒级别)、高IOPS的产品.
2.
以此为出发点,改造传统数据库内核,打造适配大部分公有云平台的,大容量高性能数据库.
主从同步的问题:改造传统数据库内核,实现高性能的主从同步,增强Exodus的读处理能力.
公有云云平台1公有云云平台2UCloudExodus功能完备通用开源和行业做朋友和用户做朋友和时间做朋友技术方案Part1:IO路径问题分布式存储MySQL文件系统虚拟机宿主机Front-enddriverback-enddriverVIRTIOSPDK+RDMASQL引擎事务引擎存储引擎数据块/LOG分布式存储方案:基于MySQL+InnoDB,直接复用公有云分布式存储产品(如UCloud块存储产品UDisk)我们判断,未来云平台的底层的分布式存储产品,在Io路径上将实现极致优化,主流云平台底层分布式存储将实现微秒级延迟,百万级IOPS,足以支持高性能业务(如数据库)以UDisk为例,我们通过虚拟机->VIRTIO->宿主机->SPDK+RDMA->chunkserver的技术方案,已经测得100us的IO延迟,100W+IOPS技术方案Part2:IO路径问题SQL引擎事务引擎存储引擎保留:page/redolog/frm移除:binlog/doubleWrite/内部两阶段提交分布式存储把难题交给队友,押宝公有云产品的生长能力,不意味着我们在Io路径优化上毫无作为.
具体做法:1.
移除Binlog,主从同步采用redolog复制,下游系统数据同步根据归档日志(由redolog归档而来)反向生成binlog然后同步;2.
Binlog移除后,事务提交时内部两阶段提交亦可省去3.
基于分布式存储的原子写能力,有效去DoubleWrite技术方案Part3:主从同步问题SQL引擎事务引擎存储引擎分布式存储SQL引擎事务引擎存储引擎MasterSlaveRedoLogAddrViaBinlogChannelRedoLog/Page/Frm1.
借鉴:和大部分2.
0数据库一样,主从数据同步采用Redolog.
主从之间同步RedologAddr,从收到Addr之后再去底层存储拉取2.
创新:利用MySQL原有的机制,设计了一种简单可靠的Redolog