数据华云数据IT课堂：创新型企业级私有云存储是如何炼成的？

华云数据IT课堂创新型企业级私有云存储是如何炼成的

互联网和大数据的发展使得企事业单位对数据存储的需求陡增。虽然公有云存储发展已趋于成熟能够提供丰富的功能和极高的可靠性但是依然存在安全性、可定制化、公网访问带宽受限等问题。因此大部分有特殊需求的客户并不愿意将数据存储到公有云而是寻求借助开源存储解决方案来快速搭建一套私有云存储系统。

当前存储业界已经有Ceph、 Swift、 Gluster等众多可选开源解决方案。然而存储系统作为最底层的基础设施其选型需要考虑的问题非常繁杂例如存储业务的使用场景具体有哪些存储系统内部的高可用、高可靠、高安全等设计是否都靠谱存储系统是否足够成熟、周边工具是否完善存储系统是否有生产环境大规模应用的案例如何迁移历史数据并充分利用原有旧设备等等。

那么解决掉这些问题就能保证数据存储高枕无忧吗并非如此。为了确保开源存储系统持续稳定运行必须深入理解该系统的架构设计和部署方式并具有持续优化和改进的能力。同时还需要根据实际使用场景以及未来可能的发展趋势进行资源预留和调配。即使具有专业存储技术团队的大型企业面对开源存储系统的潜在风险都存在问题定位难、解决慢的尴尬。而这些风险如果发生在缺乏足够经验的团队上几乎是致命的。稍有不慎就会有数据无法访问甚至丢失的风险。

可以总结一句话开源≠能用

对于研发力量不足的私有云存储客户我们更推荐另一种方式 即选择专业私有云存储提供商的产品和服务。

华云StorUltra™私有云存储

华云数据深耕云计算领域多年深刻理解客户在企业级私有云存储建设方面的痛点。依托公司在公有云存储服务多年的研发和运营经验 自主研发了StorUltra™私有云存储其具有海量存储、安全可靠、成本低廉等特性兼容主流Swift和S3接口。用户可以通过简单的HTTP RESTful或封装好的SDK在任何时间、任何地点、任何互联网设备上进行数据上传和下载。基于StorUltra™私有云存储可以搭建出多媒体分享网站、企业网盘、数据容灾备份等服务。

如上StorUltra™私有云存储基础架构图底层使用可扩展的通用服务器、硬盘和网络设备提供了一整套存储解决方案实现一站式的私有云存储服务功能亮点包括

1.底层实现了高可靠、高可用、高安全的分布式存储系统

2.通过Web控制台进行自动化运维最大程度降低运维成本

3.提供完善的系统监控与报警完备对接认证授权体系

4.提供传统的数据访问接口 NFS/FTP/SMB等

5.提供与S3和Swi ft兼容的对象存储访问接口

6.轻松对接华云公有云COS轻松实现混合云方案

7.支持对接业界主流的公有云存储服务数据迁移非常便捷

8.提供图片处理、音视频处理等数据增值服务

9. 7*24小时专业团队提供技术支持

本文将重点解密StorUltra™私有云存储在系统高可靠、高可用、高安全的特性。

高可靠性

StorUltra™私有云存储使用多副本(Multi Replica)和纠删码EC(Erasure Coding)保证数据可靠性。根据实际场景用户可选择不同的数据保护方案。

若用户选择多副本数据保护方案可以自由配置数据备份数根据业界经验值我们推荐使用三备份 以达到成本和可靠性的平衡。使用三备份存储可以达到99.99999999%的数据可靠性。

若用户选择纠删码EC数据保护方案可以自由选择EC算法以及数据块和校验块配比。我们推荐使用7+5的配比达到超过三副本的数据可靠性且相较于三副本该方案可将存储利用率提升近一倍。

高可用性

StorUltra™私有云存储在系统设计上无任何单点系统可以在以下异常时仍然对外提供正常服务软件升级、节点宕机、存储设备故障、 网络瞬时异常、分区不可用。

如上图所示每一个层级都有可高用保障机制

接入故障接入节点无状态设计 Load Balancer检测到接入节点故障时仅需将其流量切换到其他接入节点

存储故障数据采用多副本或者纠删码EC打散存储单一存储节点故障时可从其他节点恢复原始数据系统后台会启动数据自动修复功能将故障存储节点数据在其他节点上恢复而且系统会将该故障存储节点标记为异常保证不会再有写请求进入该节点

网络故障接入节点与存储节点之间出现网络故障时接入节点会自动重试其他数据副本(或EC数据块) 保证服务依然可用

分区故障 当可用区发生故障时可以通过多备份技术读到数据备份或者通过纠删码进行数据恢复。写操作会自动路由到可用分区确保写入的可用性。

高安全性

StorUltra™私有云存储从数据传输、数据完整性、身份认证、访问控制、服务端加密、数据分块存储等多方面保证用户数据安全。

传输安全数据上传下载链路均支持HT T PS协议防止数据在传输过程中被侦听泄密

完整性校验通过两端的MD5验证对每一个请求进行数据完整性校验防止数据在传输过程中被篡改

身份认证采用密钥进行身份认证用户发起的请求都需要进行签名服务端会对用户的身份进行认证

访问控制提供灵活的数据访问控制模型可以通过授权系统指定哪个账户能访问您的数据保证重要数据的安全

服务端加密对所有磁盘上存储的数据进行加密 即使托管在第三方数据中心也不用担心数据被窃

分块存储文件被打散成相互之间无关联的分块后再进行落地存储通过单个分块无法恢复完整文件

跨可用区存储通过纠删码EC能够将文件打算存储到多个可用区即使某个可用区被完全攻破也无法恢复完整文件。

通过高可靠、高可用、高安全的介绍相信大家对StorUltra™私有云存储有了初步了解。那么如何解决企业级私有云存储面临的自动化运维、监控报警、混合云存储整合等难题我们将通过后续的一系列文章进一步介绍。