备份存储备份

大话Qunar数据库备份恢复自我介绍姓名:黄勇部门:Qunar-数据库架构师简要介绍:曾在淘宝和百度任职,2013年加入Qunar负责数据库架构设计、数据库优化和规范制定目录1数据库HA2备份恢复介绍3常见问题4Qunar备份恢复5自劢化备份恢复平台一、数据库HAHA指标无备份HA=0数据重于一切!
DATAHAMySQLHAM-SPXCQMHA二、备份恢复介绍备份恢复分类备份恢复方式优点缺点热备份(onlinebackup)物理热备(InnoDBibbackup、PerconaXtraBackup)速度快MySQL版本绑定逻辑热备(mysqldump、mysqlpump)简单、备份样式可选sql语句,备份恢复速度慢冷备份(offlinebackup)操作简单、拷贝数据文件a.
DB服务中断业务受损b.
无法解决数据空洞问题c.
冷备恢复存在系统版本文件大小写敏感和浮点数格式等问题三、常见问题业内备份常见问题-part1本地存储备份占用本地磁盘空间和IO恢复时要传输到对应机器,占用带宽备份方式选择种类繁多,不容易管理维护非集中管理,维护困难不知道有没有备份,在哪个机器上备份,备份类型业内备份常见问题-part2备份文件校验备份集不可用,到恢复时无法使用集群备份节点选择问题在写节点上备份,磁盘IO和网络带宽影响写节点切换后,需要手劢选择备份节点流量控制流量控制不好,导致同一机器上多个备份同时进行实际案例看问题备份时间过长-数据量太大;备份过程被阻塞;写入传输太慢备份无法恢复-备份集物理损坏;备份集逻辑不可用(热copy)恢复时间过长-备份集太大;存储传输速度慢;磁盘IO;增量时间太大业务被影响-CPU,IO,内存,网卡流量四、Qunar备份恢复易扩展、多通道备份存储线上业务透明、专用备份网卡校验备份、加速恢复备份集自劢化、可视化运维Qunar备份流程图备份恢复方式a)PerconaXtrabackup全量备份b)binlog备份作为增量备份c)流备份--stream=tard)远程存储备份集,backup角色机器,和远端mfs存储e)自动选择备份节点,standby或者statistic,无视切换,binlog跟着走f)独立的备份网卡,不占用业务带宽g)备份完成即恢复,保证备份集逻辑上可用,一致性状态h)集中式管理、调度,并发可控,状态监测,抛弃crontab和agent界面操作Qunar恢复流程图简单化统一化告警通知Qunar恢复需求新建实例搭建SLAVE指定时间点恢复FlashBackQunar恢复界面Qunar恢复界面单实例Slave指定时间点五、自劢化备份恢复平台自劢化备份恢复平台自劢化备份恢复平台自劢化备份恢复平台自劢化备份恢复平台自劢化备份恢复平台自劢化备份恢复平台自劢化备份恢复平台Q&A