查询pagedefrag
pagedefrag 时间:2021-02-21 阅读:()
Druid和Kylin在美团点评的选型与实践高大月2017-08-05OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲OLAP引擎分类ROLAP(RelationalOLAP)基于RDBMS技术,通过并行化/内存加速计算代表:Presto/Impala/SparkSQL/DrillMOLAP(Multi-dimensionalOLAP)预先聚合明细数据,系统中只存储汇总数据代表:Kylin/DruidSearchEngines基于搜索引擎技术,通过索引加速计算代表:Elasticsearch/SolrROLAP(Presto/SparkSQL)优势支持任意的SQL表达无数据冗余和预处理不足大数据量、复杂查询下分钟级响应不支持实时数据适用场景对灵活性非常高的即席查询场景MOLAP(Kylin,Druid)优势支持超大原始数据集高性能、高并发不足不支持明细数据查询需要预先定义维度、指标适用场景对性能要求非常高的OLAP场景SearchEngine(ES)优势强大的明细检索功能同时支持实时与离线数据不足大数据量、复杂查询下分钟级响应不支持Join、子查询等适用场景中小数据规模的简单OLAP分析的场景选型建议1.
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
没有银弹2.
了解不同架构/技术的取舍3.
根据业务特点进行选择美团点评OLAP场景的特点亚秒级响应高并发百亿数据集大量去重指标SQL接口离线为主为什么选择Kylin和DruidPresto/SparkKylinDruidES亚秒级响应高并发百亿数据集精确去重计算SQL接口离线实时OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Druid使用概况定位:实时OLAP引擎支撑业务:广告、风控、算法等单集群40台物理机,100个Datasource,索引存储20TB每日从Kafka摄入百亿条消息每日查询量超150万次,TP99时延~1秒Druid硬件/JVM配置角色硬件配置JVM配置Coordinator/Overlord2x8gVMs6gHeapBroker8x8core16gVMs11gHeap,3gNon-HeapHistorical19x40core128g12disk物理机12gHeap,10gNon-HeapMiddleManager19x40core128g物理机8x6gHeapPeonsTranquilityClients2x40core128g物理机2~3gperJVMDruid监控需要监控哪些指标业务侧:DataSource粒度,例如QPS、Latency、IngestionRate等平台侧:集群/节点粒度,例如CPU,I/O,JVM等监控数据如何使用Dashboard、多维分析(OLAP)、慢查询分析(明细)方案KafkaESEmitterdruidSparkStreamingDruid监控(Dashboard)Druid监控(多维分析)FilterAggGrouping资源隔离广告TierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance广告业务查询_default_tierhistoricalhistoricalhistoricalhistoricalbrokerbrokerLoadBalance其他业务查询背景:不同业务的workload和稳定性要求不一样目标:实现业务线粒度的隔离可选方案多集群单集群分组隔离踩过的一些坑(1/2)现象:Historical节点syscpu飙高,集体掉线原因:NUMA架构启用了zonereclaimmode,造成directpagescan解决方法:echo0>/proc/sys/vm/zone_reclaim_mode踩过的一些坑(2/2)现象:查询性能不稳定,偶尔会出现尖刺原因:CentOS6.
5默认启用了"透明大页"功能,可能造成内存分配延迟解决方法:禁用"透明大页"echo"never">/sys/kernel/mm/transparent_hugepage/enabledecho"never">/sys/kernel/mm/transparent_hugepage/defrag面临的挑战功能挑战精确去重计数实时摄入的窗口限制SQL支持管理挑战任务接入效率索引服务的资源利用率OLAP引擎选型Druid在美团点评的实践Kylin在美团点评的实践提纲Kylin简介Kylin是一个开源的、基于Hadoop的OLAP查询引擎,能够通过标准SQL接口对超大数据集实现秒级的多维分析查询.
Kylin属于MOLAP解决方案,其核心思想是预计算Cube预先定义维度和指标预先构建Cube,Cube包含了预计算的结果查询时自动从Cube中获取结果Kylin架构Kylin服务概况定位:离线OLAP引擎20+个Project,350个Cube,覆盖所有业务线数据总量8000亿行,Cube存储总量140TB每日查询量130万次,TP99时延~1秒Kylin平台架构负载均衡与服务治理RSRS…jobjobHA主集群提交作业机房Aqueryquery…机房Bqueryquery…查询入口监控报警HBase集群RS预上线环境RSRSRSCube迁移主要工作1.
精确去重计数2.
全局字典3.
构建服务分布式化4.
窗口函数、Union……新特性1.
大查询限制2.
支持HBase集群HA3.
构建性能优化4.
前端页面加载优化……功能改进1.
调度系统集成2.
计算队列拆分3.
权限控制与审计4.
JMX监控……平台化建设我们有3位KylinCommitter!
面临的挑战业务隔离降低Cube调优门槛明细查询支持低成本、高扩展的精确去重方案谢谢大家
- 查询pagedefrag相关文档
- powerpagedefrag
- userpagedefrag
- hitpagedefrag
- 虚拟内存用PageDefrag快速清理虚拟内存碎片
- pagedefrag虚拟内存是什么东东？
- pagedefragPageDefrag 该如何使用！
ShockHosting（$4.99/月），东京机房 可享受五折优惠，下单赠送10美金
ShockHosting商家在前面文章中有介绍过几次。ShockHosting商家成立于2013年的美国主机商，目前主要提供虚拟主机、VPS主机、独立服务器和域名注册等综合IDC业务，现有美国洛杉矶、新泽西、芝加哥、达拉斯、荷兰阿姆斯特丹、英国和澳大利亚悉尼七大数据中心。这次有新增日本东京机房。而且同时有推出5折优惠促销，而且即刻使用支付宝下单的话还可获赠10美金的账户信用额度，折扣相比之前的常规...
sharktech：洛杉矶/丹佛/荷兰高防服务器;1G独享$70/10G共享$240/10G独享$800
sharktech怎么样?sharktech (鲨鱼机房)是一家成立于 2003 年的知名美国老牌主机商，又称鲨鱼机房或者SK 机房，一直主打高防系列产品，提供独立服务器租用业务和 VPS 主机，自营机房在美国洛杉矶、丹佛、芝加哥和荷兰阿姆斯特丹，所有产品均提供 DDoS 防护。不知道大家是否注意到sharktech的所有服务器的带宽价格全部跳楼跳水，降幅简直不忍直视了，还没有见过这么便宜的独立服...
NameSilo域名优惠码活动
NameSilo是通过之前的感恩节优惠活动中认识到这家注册商的，于是今天早上花了点时间专门了解了NameSilo优惠码和商家的详细信息。该商家只销售域名，他们家的域名销售价格还是中规中矩的，没有像godaddy域名标价和使用优惠之后的价格悬殊很大，而且其特色就是该域名平台提供免费的域名停放、免费隐私保护等功能。namesilo新注册域名价格列表，NameSilo官方网站：www.namesilo....
pagedefrag为你推荐
-
快速美白好方法快速美白的好点子！？(不是晒黑的)吴晓波频道买粉吴晓波频道学习卡资费？1433端口怎么开启本机1433端口百度手写百度手写显示网店推广网站怎么免费推广淘宝店铺？童之磊网文大学很强吗？人人逛街包公免费逛街打一成语免费免费建站可以不用钱免费做一个网站吗ejb开发EJB是什么?网页打开很慢为什么我打开浏览器的时候，网页打开的很慢？