并行网站托管

对象存储服务并行文件系统特性指南文档版本05发布日期2020-07-30华为技术有限公司版权所有华为技术有限公司2021.
保留一切权利.
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播.
商标声明和其他华为商标均为华为技术有限公司的商标.
本文档提及的其他所有商标或注册商标,由各自的所有人拥有.
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内.
除非合同另有约定,华为公司对本文档内容不做任何明示或默示的声明或保证.
由于产品版本升级或其他原因,本文档内容会不定期进行更新.
除非另有约定,本文档仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保.
文档版本05(2020-07-30)版权所有华为技术有限公司i目录1简介.
11.
1什么是并行文件系统.
11.
2应用场景.
11.
3约束限制.
11.
4使用方式.
21.
5计费标准.
31.
6特性介绍.
31.
6.
1生命周期管理.
32控制台方式.
42.
1创建并行文件系统.
43API方式.
63.
1支持的API列表.
64工具方式.
11A修订记录.
12对象存储服务并行文件系统特性指南目录文档版本05(2020-07-30)版权所有华为技术有限公司ii1简介1.
1什么是并行文件系统并行文件系统(ParallelFileSystem)是对象存储服务(ObjectStorageService,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载.
作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据.
也支持通过部署在弹性云服务器中的PFS客户端(obsfs工具),按照POSIX文件语义读写数据;通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上,并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理,包括:创建和删除文件/目录,重命名文件/目录,修改写文件等操作.
1.
2应用场景并行文件系统提供高兼容性、高性能、高可扩展性、高可靠性的能力,适用各种高性能计算以及媒资归档场景.
主要的应用场景如下:视频监控:公安社会视频、商业监控、家庭监控点播:OTT分发、媒资库HPC:聚焦基因测序、制造业CAE场景大数据:日志分析、内容推荐、运营报表、用户画像、交互式分析1.
3约束限制操作限制不支持将已有的OBS桶修改为并行文件系统,创建并行文件系统方法请参见创建并行文件系统.
功能限制对象存储服务并行文件系统特性指南1简介文档版本05(2020-07-30)版权所有华为技术有限公司1暂不支持图片处理暂不支持服务端加密暂不支持跨区域复制暂不支持多版本控制暂不支持配置桶清单暂不支持配置CORS规则暂不支持配置静态网站托管暂不支持配置桶默认存储类型暂不支持专属对象存储场景性能限制并行文件系统每TB默认提供最大带宽10MB/s.
1.
4使用方式并行文件系统提供管理控制台、obsfs客户端工具以及RESTfulAPI接口的使用方法,其中obsfs客户端工具提供标准的POSIX接口,使得用户的应用程序无需任何修改即可无缝上云.
用户可以在任何时间和地点对存储在并行文件系统内的文件进行处理,并且可以快速获取到处理后的文件.
并行文件系统除支持POSIX文件语义外,支持原来对象的接口,即用户仍然可以使用对象的处理方式来处理文件,实现了对象和文件的互通.
用户可以通过以下几种方式使用并行文件系统.
表1-1使用方式方式主要功能相关链接并行文件系统控制台您可以在控制台创建并行文件系统,并进行查看、管理等基本操作.
创建并行文件系统obsfs工具obsfs是针对并行文件系统开发的客户端工具,支持POSIX标准接口,通过挂载即可使用,推荐您使用此方式.
obsfs简介OBSAPI通过OBSAPI来使用并行文件系统.
支持的API列表其他OBS工具并行文件系统实现了对象和文件的互通,因此您可以使用OBS提供的其他工具来使用并行文件系统,例如:obsutil,OBSBrowser+等.
但是以上工具和并行文件系统在某些功能并未完全兼容,后续将逐渐完善,推荐您使用obsfs工具.
OBS工具对象存储服务并行文件系统特性指南1简介文档版本05(2020-07-30)版权所有华为技术有限公司21.
5计费标准并行文件系统的计费标准,请参见价格详情.
1.
6特性介绍1.
6.
1生命周期管理并行文件系统的生命周期管理与对象存储生命周期管理应用场景与主要功能一致,更多信息可参照生命周期管理.
SDK参考可参照对象生命周期的SDK参考.
与对象生命周期管理主要差异说明您可以使用生命周期管理功能管理文件.
目录不会因生命周期管理而转归档存储,而空目录会因生命周期管理超期删除.
对于生命周期管理规则的配置,您可以通过API配置超期、转归档存储、转低频访问存储.
控制台目前仅支持配置超期、转归档存储.
同样的由于并行文件系统不支持多版本,生命周期规则中配置多版本相关的超期、转归档存储、转低频访问存储也不支持.
在配置并行文件系统直读的情况下,您可以通过直读的方式读取归档存储文件.
您最多可以在一个并行文件系统下配置20条生命周期管理规则,超过20条将提示不支持.
文件满足生命周期规则的基准时间为文件数据内容最后一次做更新的时间点.
其他说明您如果执行rename操作,rename后的文件或rename后的目录下的文件如果满足某个生命周期规则,则匹配生命周期的基准时间仍为文件数据内容最后一次更新的时间而非rename的时间,且这些文件的生命周期管理生效时间可能会有延迟,延迟时间为0至7天.
对于文件客户端执行的拷贝操作,生命周期判断超期或者转归档存储的时间基准为拷贝的时间点.
–例:文件src.
txt创建时间为2019年1月1日,在2019年9月1日执行cp-asrc.
txtdes.
txt后,des.
txt的生命周期管理时间以2019年9月1日来计算是否满足超期或转归档存储的时间配置.
对象存储服务并行文件系统特性指南1简介文档版本05(2020-07-30)版权所有华为技术有限公司32控制台方式2.
1创建并行文件系统用户可以通过控制台创建并行文件系统.
操作步骤步骤1选择左侧导航栏的"并行文件系统",进入并行文件系统控制台.
步骤2单击界面右上角的"创建并行文件系统",进入创建页面.
图2-1创建并行文件系统对象存储服务并行文件系统特性指南2控制台方式文档版本05(2020-07-30)版权所有华为技术有限公司4步骤3设置并行文件系统的区域和名称.
说明并行文件系统创建成功后,不能修改名称,请提前规划合适的名称.
由于通过URL访问并行文件系统时,名称会作为URL的一部分,根据DNS标准,URL不支持大写字母,无法区分带大写字母的并行文件系统.
因此,名称仅支持小写字母、数字、"-"、".
".
例如:若想通过URL访问名为"MyFileSystem"的文件系统,该URL将解析成名为"myfilesystem"的文件系统,导致访问出错.
步骤4策略:您可以为并行文件系统配置私有、公共读、或公共读写策略.
步骤5数据冗余存储策略:配置多AZ后,数据冗余存储至多个AZ中.
说明请根据业务情况提前规划是否配置多AZ功能,并行文件系统一旦创建成功,后续无法修改数据冗余存储策略.
步骤6标签:标签用于标识OBS中的并行文件系统,以此达到对并行文件系统进行分类的目的.
OBS以键值对的形式来描述标签,每个标签有且只有一对键值.
有关添加标签的信息,请参见标签.
步骤7在界面最下方确认配置费用后,单击"立即创建".
步骤8创建成功后,回到对象存储服务的并行文件系统控制台,即可看到已创建的并行文件系统.
至此,用户就可以像操作OBS桶一样使用并行文件系统了.
如何使用并行文件系统,请参见并行文件系统的使用方式.
----结束对象存储服务并行文件系统特性指南2控制台方式文档版本05(2020-07-30)版权所有华为技术有限公司53API方式3.
1支持的API列表本节主要介绍并行文件系统和已有的OBSAPI的兼容情况,并对部分兼容的API进行差异说明.
关于OBS各个API接口的详细介绍,请参见《对象存储服务API参考》.
桶基础操作接口表3-1桶基础操作接口接口并行文件系统是否兼容差异说明获取桶列表√获取并行文件系统列表需要携带头域"x-obs-bucket-type:POSIX".
创建桶√创建并行文件系统需要携带头域"x-obs-fs-file-interface:Enabled"列举桶内对象√-获取桶元数据√-获取桶区域位置√-删除桶√-对象存储服务并行文件系统特性指南3API方式文档版本05(2020-07-30)版权所有华为技术有限公司6桶高级配置接口表3-2桶高级配置接口接口并行文件系统是否兼容差异说明设置桶策略√-获取桶策略√-删除桶策略√-设置桶ACL√-获取桶ACL√-设置桶日志管理配置√-获取桶日志管理配置√-设置桶的生命周期配置√-获取桶的生命周期配置√-删除桶的生命周期配置√-设置桶的多版本状态*-获取桶的多版本状态*-设置桶的消息通知配置√-获取桶的消息通知配置√-设置桶默认存储类型*-获取桶默认存储类型*-设置桶的跨区域复制配置*-获取桶的跨区域复制配置*-删除桶的跨区域复制配置*-设置桶标签√-获取桶标签√-删除桶标签√-设置桶配额√-获取桶配额√-获取桶存量信息√-设置桶清单*-获取桶清单*-对象存储服务并行文件系统特性指南3API方式文档版本05(2020-07-30)版权所有华为技术有限公司7接口并行文件系统是否兼容差异说明列举桶清单*-删除桶清单*-设置桶的自定义域名√-获取桶的自定义域名√-删除桶的自定义域名√-设置桶的加密配置*-获取桶的加密配置*-删除桶的加密配置*-设置桶归档对象直读策略√-获取桶归档对象直读策略√-删除桶归档对象直读策略√-静态网站托管接口表3-3静态网站托管接口接口并行文件系统是否兼容差异说明设置桶的网站配置*-获取桶的网站配置*-删除桶的网站配置*-设置桶的CORS配置*-获取桶的CORS配置*-删除桶的CORS配置*-OPTIONS桶*-OPTIONS对象*-对象存储服务并行文件系统特性指南3API方式文档版本05(2020-07-30)版权所有华为技术有限公司8对象操作接口表3-4对象操作接口接口并行文件系统是否兼容差异说明PUT上传√不支持的头域:x-obs-storage-class、x-obs-website-redirect-location、x-obs-server-side-encryption、x-obs-server-side-encryption-kms-key-id、x-obs-server-side-encryption-customer-algorithm、x-obs-server-side-encryption-customer-key、x-obs-server-side-encryption-customer-key-MD5、success-action-redirect、x-obs-expiresPOST上传√不支持的头域:x-obs-storage-class、x-obs-website-redirect-location、x-obs-server-side-encryption、x-obs-server-side-encryption-kms-key-id、x-obs-server-side-encryption-customer-algorithm、x-obs-server-side-encryption-customer-key、x-obs-server-side-encryption-customer-key-MD5、success-action-redirect、x-obs-expires复制对象√只支持相同集群内并行文件系统或OBS桶之间进行复制.
获取对象内容√-获取对象元数据√-删除对象√-批量删除对象√-取回归档存储对象√-追加写对象*-设置对象ACL√-获取对象ACL√-修改对象元数据√-修改写对象√并行文件系统新增接口,OBS桶不支持.
截断对象√并行文件系统新增接口,OBS桶不支持.
重命名对象√并行文件系统新增接口,OBS桶不支持.
对象存储服务并行文件系统特性指南3API方式文档版本05(2020-07-30)版权所有华为技术有限公司9多段操作接口表3-5多段操作接口接口并行文件系统是否兼容差异说明列举桶中已初始化多段任务√-初始化上传段任务√-上传段√-拷贝段√不支持对追加写过的文件执行拷贝段操作.
列举已上传的段√-合并段√-取消多段上传任务√-对象存储服务并行文件系统特性指南3API方式文档版本05(2020-07-30)版权所有华为技术有限公司104工具方式obsfs是对象存储服务提供的一款基于FUSE的文件系统工具,支持POSIX标准接口,用于将OBS并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间.
对于原本使用本地文件系统存储数据的用户,如果希望把数据存储在OBS上但不改变数据的访问方式,obsfs是其好的选择.
关于obsfs工具的详细使用说明,请参见《对象存储服务工具指南(obsfs)》.
对象存储服务并行文件系统特性指南4工具方式文档版本05(2020-07-30)版权所有华为技术有限公司11A修订记录发布日期修订记录2020-07-30第五次正式发布.
本次更新说明如下:新增生命周期管理的相关特性介绍.
2020-05-30第四次正式发布.
本次更新说明如下:在创建并行文件系统章节新增数据冗余存储策略描述.
2019-11-08第三次正式发布.
本次更新说明如下:调整并行文件系统计费模式.
2019-08-15第二次正式发布.
本次更新说明如下:新增并行文件系统的性能限制说明.
新增并行文件系统支持的API列表.
2019-07-15第一次正式发布.
对象存储服务并行文件系统特性指南A修订记录文档版本05(2020-07-30)版权所有华为技术有限公司12