查询pagedefrag
pagedefrag 时间:2021-02-21 阅读:()
Druid和Kylin在美团点评的选型与实践高大月2017-08-05OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲OLAP引擎分类ROLAP(RelationalOLAP)基于RDBMS技术,通过并行化/内存加速计算代表:Presto/Impala/SparkSQL/DrillMOLAP(Multi-dimensionalOLAP)预先聚合明细数据,系统中只存储汇总数据代表:Kylin/DruidSearchEngines基于搜索引擎技术,通过索引加速计算代表:Elasticsearch/SolrROLAP(Presto/SparkSQL)优势支持任意的SQL表达无数据冗余和预处理不足大数据量、复杂查询下分钟级响应不支持实时数据适用场景对灵活性非常高的即席查询场景MOLAP(Kylin,Druid)优势支持超大原始数据集高性能、高并发不足不支持明细数据查询需要预先定义维度、指标适用场景对性能要求非常高的OLAP场景SearchEngine(ES)优势强大的明细检索功能同时支持实时与离线数据不足大数据量、复杂查询下分钟级响应不支持Join、子查询等适用场景中小数据规模的简单OLAP分析的场景选型建议1.
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
- 查询pagedefrag相关文档
- powerpagedefrag
- userpagedefrag
- hitpagedefrag
- 虚拟内存用PageDefrag快速清理虚拟内存碎片
- pagedefrag虚拟内存是什么东东？
- pagedefragPageDefrag 该如何使用！
酷番云78元台湾精品CN2 2核 1G 60G SSD硬盘
酷番云怎么样？酷番云就不讲太多了，介绍过很多次，老牌商家完事，最近有不少小伙伴，一直问我台湾VPS，比较难找好的商家，台湾VPS本来就比较少，也介绍了不少商家，线路都不是很好，有些需求支持Windows是比较少的，这里我们就给大家测评下 酷番云的台湾VPS，支持多个版本Linux和Windows操作系统，提供了CN2线路，并且还是原生IP，更惊喜的是提供的是无限流量。有需求的可以试试。可以看到回程...
CloudCone（20美元/年）大硬盘VPS云服务器，KVM虚拟架构，1核心1G内存1Gbps带宽
近日CloudCone商家对旗下的大硬盘VPS云服务器进行了少量库存补货，也是悄悄推送了一批便宜VPS云服务器产品，此前较受欢迎的特价20美元/年、1核心1G内存1Gbps带宽的VPS云服务器也有少量库存，有需要美国便宜大硬盘VPS云服务器的朋友可以关注一下。CloudCone怎么样？CloudCone服务器好不好？CloudCone值不值得购买？CloudCone是一家成立于2017年的美国服务...
水墨云历史黑名单IDC，斟酌选购
水墨云怎么样?本站黑名单idc，有被删除账号风险，建议转出及数据备份!水墨云ink cloud Service是成立于2017年的商家，自2020起开始从事香港、日本、韩国、美国等地区CN2 GIA线路的虚拟服务器租赁，同时还有台湾、国内nat vps相关业务，也有iplc专线产品，相对来说主打的是大带宽服务器产品。注意：本站黑名单IDC，有被删除账号风险，请尽量避免，如果已经购买建议转出及数据备...
pagedefrag为你推荐
-
qq讨论组手机上QQ怎么创建讨论组？人人时光机求 《小叮当》的日语歌词。最好有片假名的spgnuxPC操作系统如何描述1433端口怎么开启本机1433端口童之磊网文大学很强吗？滚动代码来回滚动代码iphone越狱后怎么恢复苹果手机越狱后怎么恢复腾讯文章怎么在手机腾讯网发文章直播加速请问哪种播放器的可以播放加速，并且可以保存ios7固件下载ios7发布当天是否有固件下载