数据mysql数据库

数据之大,云动未来THEPOWERPOINTTEMPLATE——爱可生携手Dynatrace助力企业PaaS服务创新爱可生公司——中国领先的企业数据处理技术整体方案提供商专注数据运营与服务十余年证券代码:832768提供某银行开放平台的数据库集群项目背景:某银行开放平台是面向互联网金融的核心战略,整合了银行各类金融业务接口,打造一个金融服务的应用接入平台,建立互利共赢的"金融服务生态圈".
目前承载多种互联网形态业务业务,包括微信银行、出国金融、虚拟支付等等,曾被央视《新闻联播》重点报道.
解决方案方案价值为开放平台的所有数据库提供分布式数据库集群解决方案.
实现MySQL在数据拆分后的统一查询访问接口、高可用性、自动化读写分离、负载均衡、水平扩展等功能.
服务包括7x24小时的数据库相关的现场维护、咨询、升级、健康检查、开发支持.
目前已推出几十余种互联网金融创新产品,覆盖网络"支付、理财、融资、跨境、产业链、O2O综合服务"六大业务线.
数据库集群规模MySQL数据库集群十余组,虚拟机共计百余个左右.
为开放平台提供了稳定、可靠,并支持可扩展的数据库架构体系和保障.
提供某银行面向私有云的云数据库平台解决方案方案价值提供了基于MySQL的云数据库即服务平台.
实现了面向多租户开发测试环境和生产环境的数据库自服务、随需创建扩缩、便捷自动管理和运维的统一的数据库云平台.
目前DBaaS平台已投产系统60多套,开发环境几百个数据库实例,测试环境100多个实例.
物理服务器共计30余台左右,虚拟机几百个左右.
提升了快速的MySQL服务交付能力;形成了标准的MySQL运维管理规范;实现了全面的MySQL运维自动化能力.
已支持了30余个业务上线,加快了开发、单元测试、功能测试、集成测试和生产部署的处理流程,从基础设施层面满足业务敏捷性需求.
项目背景:该银行的数据中心拥有规模庞大的IT基础设施和种类繁多的线上和开发测试项目.
为了进一步提高数据库的资产利用率、缓解数据库运维管理的压力、增强信息安全的保障,需构建完整统一的私有云中的数据库即服务平台.
爱可生整合PaaS平台——以数据处理技术为核心的企业级PaaS服务平台APPPaaS企业应用高端服务IaaSB2D企业应用SaaS开发者DevOps应用服务数据服务EDAS:企业分布式应用服务框架EagleEye:全链路应用监控系统LogAnalysisi:应用日志分析系统RTMQ(ReliableTransMessageQueue):可靠性传输消息中间件业务型数据服务大数据服务数据安全与管理:备份、灾备、审计、加密HDFS弹性关系型数据库服务弹性分布式数据库服务企业数据库仓库服务RDSDRDSEDWSSparkStormHBaseHive公有云私有云本地集成混合部署简单,易用,十分钟数据库普遍面临扩展性和高可用的难题生产应用中Web/AppServers扩展性:读写分离是互联网行业提升数据库吞吐量的常规方案存在的问题:在应用程序中包含读JDBC/ODBC写JDBC/ODBC应用程序逻辑决定哪些SQL调用读数据源,哪些调用写数据源已有应用需做大量修改才可使用数据复制的效率得不到有效保障,复制延迟影响业务的结果Writes&ReadsIndex&BinaryLogRotationReadsMySQLSlaveServerWritesReplicationMySQLMasterServerDBProxy读写分离组件WritesPacemaker/Keepalived/MHA/MySQLCluster…….
配置和运维复杂;针对MySQL特点需要人工开发额外脚本不可避免脑裂的问题在业务高峰期出现问题不敢切换;数据文件存在于存储设备,是个单独故障点.
冷备,备机不提供服务,浪费一半资源不支持故障节点自动修复爱可生整合PaaS平台——以数据处理技术为核心的企业级PaaS服务平台keepalivedVIP192.
168.
1.
2Master192.
168.
1.
3Backup192.
168.
1.
4存储设备ActionHA"互联网+"需要这样的数据库云集高可用技术之大成合横向扩展能力于一身某互联网金融高可用集群平台架构应用数据缓存客服市场风控交易活动通知秒杀分析其他RedisRedisRedisRedisRedis负载均衡ServiceipHAProxy1HAProxy2HAProxygroup1管理门户高可用管理BalmmcBalmmcZabbix读写分离MySQL高可用集群外部支付系统DBProxy1DBProxy2交易库读写分离…MySQL1LUNMySQL2MySQL3MySQL4DBProxy1DBProxy2其他库读写分离……物理集群MySQL1LUN支付库MySQL2交易库MySQL1LUN短消息MySQL2MySQL1LUN风控MySQL2MySQL1其他1MySQL2MySQL1其他8MySQL2MySQL1其他1MySQL2MySQL1其他8MySQL2MySQL1其他nMySQL2Server-1botServer-2botServer-3botbalmServer-4botmgrServer-30bot……存储设备(支持SCSI-3PR)存储设备(支持SCSI-3PR)……"互联网+"对于大规模云数据集的处理技术需求分布式集群分库分表业务扩展:分布式数据库集群分布式数据库集群软件交易业务1组非拆分数据节点,4组分片节点.
所在节点是1主3从,其它节点时1主2从.
拆分数据:产品、账号、好友相关16个分片节点,拆分数据:红包数据分布式数据库集群软件红包业务.
.
.
业务系统线上借贷产品交易,红包库数据规模总量1TB注册用户过亿性能指标红包数量按照100万/秒容量设计系统特性全局自增ID拆分表多维度复制中间层1%影响以内的异步审计日志在水平拆分基础上支持单节点自定义分表运行级别7x24x365分布式数据库分库分表逻辑库(schema)-DB1逻辑表(table)-T1分片节点(datanode)-分片1实例(database)-数据库1节点主机(datahost)-物理主机1数据库DB1表T1表T2分片1分片2物理主机1物理主机2物理主机3分片3分片4数据库1数据库2数据库3数据库4分布式集群(AresProxy)数据自动水平拆分或垂直拆分对外提供统一接口,应用访问透明支持Hash/Range/List分片算法支持跨拆分表复杂查询MySQL数据库集群节点并行计算爱可生分布式集群中间件标准化SQL标准化SQL标准化SQLSQL变化和分发SQL变化和分发SQL变化和分发数据分片数据分片支持事务分片节点高可用,故障自动切换MySQL作为存储节点,灵活扩展集群自动化部署及管理企业大数据架构展现分析存储整合采集可视化分析工具数据计算多维筛选参数传递即时查询数据报告挖掘分析数据建模……分布式数据总线分布并行计算框架高性能数据复制组件Oracle、文档、图片、视频等PDMERPDNC/MDC……其他用户权限配置管理状态监控故障诊断安全审计扩展升级……资源管理数据清洗数据转换数据汇总结构化数据非结构化数据半结构化数据分析展现平台数据支撑平台数据采集业务系统数据ODSHDFS数据处理数据存储数据集市管理平台主数据业务数据大数据和关系型数据库结合答疑十年专注,自主创新谢谢!
THANKYOU上海爱可生信息技术股份有限公司