网易海量数据存储平台

王磊@网易杭研院wanglei@corp.
netease.
com海量存储空间高效的数据访问:高并发、低延迟高可扩展性高可用性:7x24安全性和可靠性功能和接口丰富、简单易用有效应对系统(数据、模式、环境)变更和升级易维护:管理便捷,自动化程度高控制成本互联网应用的数据存储需求设计目标:为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用的用户数据存储和管理解决方案.
实现方案:分布式数据库+分布式文件系统分布式数据库(DDB):基于关系数据库集群解决结构化数据的海量存储和高效访问.
分布式文件系统(DFS):以文件为存储单位的非结构化数据存储解决方案.

网易海量数据存储平台简介基于水平Sharding的ScaleOut,表大小不受限.
多平台和多语言环境下的SQL访问接口.
支持常用的RDBMS功能:DDL:支持大多数常用语句,union和嵌套查询除外DML:表、视图、存储过程、触发器等用户管理和权限控制全局ID分配事务支持:节点内、跨节点、跨DDB.
支持MySQL和Oracle混合使用.
命令行和图形化管理工具.

DDB的功能特点DDB系统架构DDBSharding实现原理DBN1DBN2访问性能优化安全性问题监控和故障处理系统更新和升级系统扩容需要解决的问题去中心化,Client通过DBI直接访问DBN尽量避免分布式查询DBICacheMetaDataCacheDBNConnectionPoolDBNPreparedStatementCacheSQLSyntaxTreeCache优化排序操作:MergeSort优先内部游标基于Master-Slave的读负载均衡和读写分离DDB访问性能优化——系统设计优化访问认证用户名、口令认证和IP地址检查DDB认证+DBN(RDBMS)认证权限管理区分普通用户和管理员用户权限粒度控制到表的读、写和授权用户访问配额控制管理员权限细分:Schema配置、维护、监控统计、用户管理管理员操作日志其他:口令加密传输和保存只允许内网访问DDB系统安全DBN状态监视:ByMaster心跳监视和报警,故障时切换到StandbyNode.
Session自动监视、统计和报警SlowLog自动监视、统计和报警复制延迟和异常自动监视和报警QueryServer监视:ByMaster心跳监视和报警,动态调整和广播可用的QueryServer列表.
负载监视,动态调整和广播可用的QueryServer访问权值.
Master监视:ByMonitororZookeeper采用主从模式,故障时自动切换MetaData复制DDB状态监视和故障处理系统变更:产品升级、硬件升级、系统软件升级、DDB版本升级技术挑战:降低影响、避免误操作、时间可控、自动化、可回退应对策略硬件和系统软件升级:主备切换,逐步替换测试环境->线上环境:正确性验证和实施时间评估管理操作支持命令行方式执行,降低重复操作中的误操作计划任务:支持多任务、多模式、异常处理、详细日志和执行结果通知数据备份:Mirror+backup(snapshot)+BinlogDDB版本升级:Master和DBI升级,通信协议向下兼容应对系统变更和升级技术挑战降低对线上服务的影响灵活地扩充资源降低复杂度保证执行效率实现原理DDB扩容(1)实现方案方案一:DBN间数据导出导入优点:迁移效率较好,实现较简单,灵活性好缺点:停服时间长,容易导致数据不一致,删除数据的负面影响方案二:基于事务的批量数据迁移优点:不用停服,应用透明,灵活性好缺点:实现复杂,迁移效率低,对线上访问有一定影响.
方案三:基于复制的数据扩容优点:对应用透明,不需停服,效率高,对线上访问基本无影响.
缺点:操作较为复杂,只能实现成倍扩容,灵活性较差.