分布式HTAP数据库

——OLTP与OLAP一站式解决方案皓庭阿里云事业群-飞天八部-数据库技术组自我介绍2011年淘宝核心系统,数据库内核与云服务研发皓庭(王骞)2013年阿里云,分布式数据库研发2015年阿里云,阿里云HybridDBforMySQL产品负责人阿里云事业群-飞天八部-数据库技术组企业级应用的数据库架构演进OLTP数据库OLTPOLAPOLTP数据库主库OLTPOLAPOLTP数据库备库OLTP数据库分区OLTPOLAPOLTP数据库分区OLAP数据库数据同步分库分表中间件HTAP数据库OLTPOLAP1.
小型企业级应用2.
中型企业级应用3.
大型企业级应用4.
巨型企业级应用阿里云事业群-飞天八部-数据库技术组HTAP数据库产品OLAP能力OLTP能力ADSRedShiftOceanBaseDRDSSAPHANAHybridDBforMySQLOracleRDS阿里云事业群-飞天八部-数据库技术组HybridDBforMySQLHTAP:–HybridTransactional/AnalyticalProcessing分布式架构–一份数据同时支持OLTP+OLAP,无需数据交换–分布式架构,突破单机限制,可在线扩容行列混合存储引擎–事务存储引擎(tokudb):大容量、高压缩比、事务并发处理–分析索引引擎(cstore):多维分析、全文检索、地理位置检索、图和算法库SQL能力–核心:select、insert、delete、update–事务:transaction–分析扩展:tpc-h、tpc-ds、oracle分析函数对齐云数据库RDS用户体验–MySQL协议兼容,生态完善–高可靠、高可用、扩缩容、灾备、安全阿里云事业群-飞天八部-数据库技术组统一的数据库云服务HybridDBforMySQLRDSforMySQLOLTP+OLAP混合方案访问入口统一入口统一入口多点入口ACID事务特性全局ACID全局ACID组件间ACIDSQL兼容性全局一致全局一致组件间兼容性不同数据延迟无无有同步延迟稳定性统一的稳定性保障统一的稳定性保障组件间稳定性不同性能扩容线性扩容不支持线性扩容线性扩容计算功能扩展多种计算功能扩展不支持计算功能扩展多种计算功能扩展存储成本一份存储一份存储多份存储计算成本一份计算一份计算多份计算异构数据同步成本无无数据同步成本较高备份恢复支持支持组件局部支持监控支持支持组件局部支持阿里云事业群-飞天八部-数据库技术组核心技术关键点–分区sharenothing–存储计算分离–全局一致的数据视图链路引擎–生成最短执行计划–链路保持–事务协调者存储引擎–分区内事务–高压缩–批量insert优化列存索引–列式存储,meta信息,索引框架–范围索引,全文索引,地理位置索引计算引擎–MPP计算调度,快速聚合–全功能引擎资源管理链路引擎存储引擎存储引擎controller解析与合并事务协调者存储分区E存储分区F存储分区G存储分区H存储分区A存储分区B存储分区C存储分区D计算分区A计算分区B计算分区C计算分区D计算引擎列存索引列存索引阿里云事业群-飞天八部-数据库技术组HA高可用与高可靠架构链路节点:–无状态–多副本存储节点:–一主二备–触发式备份计算节点:–无状态–多副本ClientSwitchSlaveSwitchMaster负载均衡节点负载均衡节点链路节点链路节点存储节点主副本存储节点从副本后备存储Backup存储节点从副本HA监控计算节点计算节点阿里云事业群-飞天八部-数据库技术组使用场景和案例分库分表+实时分析–天然兼容分库分表业务–无需关心运维问题–一份数据直接分析–提升时效性,降低成本案例–阿里视频直播录制–CDN实时监控报表阿里云事业群-飞天八部-数据库技术组HTAP数据库在线业务商家报表历史订单画像分析使用场景和案例物联网实时数据处理–十万级的并发连接–十万级的QTS/TPS–多维度查询案例–优驾–阿里云IoT业务平台阿里云事业群-飞天八部-数据库技术组HTAP数据库车载传感器移动终端家电传感器多维分析使用场景和案例实时数据仓库–百万级批量实时入库,实时可见–毫秒级查询延时案例–阿里云SLA平台–手淘消息推送–淘宝导购缓存阿里云事业群-飞天八部-数据库技术组HTAP数据库原始数据商业智能一级分析结果实时报表谢谢各位!