网格网格计算

网格计算计算中心张晓梅伍文静内容网格证书申请和VO的加入CMSTier3和Tier2AtlasTier3和Tier2网格Tier2资源使用网格证书申请加入实验VO(虚拟组织)作业提交,网格存储使用和网格数据传输申请网格证书申请网格CA中心申请证书IHEPCertificateAuthorityhttps://cagrid.
ihep.
ac.
cn/CERNCertificateAuthorityhttps://cernca.
cern.
ch/cernca/网格证书获取如果证书申请成功,则申请者将收到邮件回复,提示用户下载证书邮件中会指明可以通过点击网页链接自动完成下载网格证书申请证书获取加入VO(虚拟组织)网格资源是通过VO来进行不同实验资源和所属用户权限划分加入CMSVO,表示该证书具有CMS网格用户身份CMSVO的加入使用个人证书通过网页https://voms2.
cern.
ch:8443/voms/cms/申请AtlasVO的加入https://voms2.
cern.
ch:8443/voms/atlas/CMSTier3资源由本地CMS用户使用Tier3登录节点IHEP公用登录节点(位于外网)lxslc5.
ihep.
ac.
cn(SL5系统)lxslc6.
ihep.
ac.
cn(SL6系统)CMS专用登录结点cmsui01.
ihep.
ac.
cn(SL5系统,1个结点,外网)Tier3计算资源CMS本地计算资源分为两部分:PBSmaui系统管理,HTCondor系统管理CMS共有352+192=544个核,其中通过PBS可以使用352个核,HTCondor可以使用192个核PBSMaui作业提交命令:qsub–qcmsqjob.
shcondor_submitsubmit-groupcms调度队列允许用户组CPU核数操作系统节点列表单个作业内存上限jobcms192ScientifcLinux(SL)5.
8ams001-ams016约2.
01G队列名用途作业时间用户最大运行数用户可排队数队列可排队数可使用组名/用户名优先级操作系统cmsq数据分析无限制150500800cms较高ScientifcLinux(SL)5.
8cmssq短作业12小时260500800cms低cmsshortq极短作业2小时24810002000cms低publicq公共队列无限制205001000所有用户共享SL5.
5Tier3存储资源公共存储区域:用于存放公用的数据、代码、软件安装公共存储区域(Lustre文件系统)/publicfs/cms(220TB)公共存储区域(AFS文件系统):用于公共软件安装/afs/ihep.
ac.
cn/soft/cms/个人存储区域:个人存储区域(Lustre文件系统):用户个人数据空间/workfs/cms/afs_user_name(每个用户10G/5万个文件限额,登录节点可读写,计算节点只可读)/scratchfs/cms/afs_user_name(每个用户500G/保存两周,所有节点可读写)个人存储区域(AFS文件系统)/afs/ihep.
ac.
cn/users/(单个用户可用500MB空间)查询配额可以从登录结点上运行如下命令,查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额.
lfsquota-uafs_user_name/workfslfsquota-uafs_user_name/scratchfslfsquota-uafs_user_name/publicfs组的配额--lfsdf-h-ppubfs.
cmspool/publicfsTier3CMS物理软件该处软件是由CMS实验统一管理和维护,IHEP本地是只读/cvmfs/cms.
cern.
ch/从所有的登录/计算节点都可以访问CMSTier2Tier2资源Tier2资源是由CMS实验共享计算资源544个核存储资源540TB软件位置:/cvmfs/cms.
cern.
ch/Tier2作业提交UI:lxslc6,lxslc5,cmsui01以及任何支持CMSVO的登录结点Voms-proxy-init–vomscmssource$VO_CMS_SW_DIR/cmsset_default.
shsource/cvmfs/cms.
cern.
ch/crab/crab.
(c)shcrabsubmit[-c具体的CMSSW的配置和crab命令可参考:https://twiki.
cern.
ch/twiki/bin/view/CMSPublic/WorkBookCRAB3TutorialTier2的存储使用网格存储SE与本地存储最大不同:网格存储可以实现与远程网格存储进行安全方便的数据传输SE服务器:srm.
ihep.
ac.
cn数据目录在登录节点可读:/pnfs/ihep.
ac.
cn/data/cms/可通过SRM命令进行目录和文件操作srmls,srmmkdir,srmrm,srmrmdir,srmcpsrmlssrm://srm.
ihep.
ac.
cn:8443/pnfs/ihep.
ac.
cn/data/cmsTier2的传输使用网格传输系统PhEDEx,是CMS数据集传输系统,与CMS其他网格站点进行大规模数据传输网格传输是基于网格存储系统CMS用户可以通过PhEDEx页面进行数据集传输申请、删除申请以及传输监控.
注意事项:所有传输申请只能基于数据集,而不能用于单个文件的传输.
在进行申请操作之前,用户需要将自己的个人网格证书装载到浏览器.
具体操作时PhEDEx将使用浏览器中的网格证书对用户进行身份识别.
只有加入CMSVO的用户证书才能有权限进行相关操作.
Tier2的传输使用传输申请https://cmsweb.
cern.
ch/phedex/prod/Request::Createtype=xferDataItem:所需要传输的数据集Destination:所需要传输到的目的地(T2_CN_Beijing)查看传输状态https://cmsweb.
cern.
ch/phedex/prod/Data::Subscriptions#state=create_since%3D1441783541%3Bnode%3DT2_CN_Beijing删除申请网格数据包含了在DBS注册的元数据以及存储SE的物理数据,因此删除的时候https://cmsweb.
cern.
ch/phedex/prod/Request::Createtype=deleteDataItem:所要删除的数据集Destination:所要删除的数据集所在的站点传输申请查看传输状态查看传输状态删除申请ATLASTier3ATLASTier3资源包括登录节点,计算,存储,软件Tier3登录节点IHEP公用登录节点(位于外网)lxslc5.
ihep.
ac.
cn(SL5系统,14个结点)lxslc6.
ihep.
ac.
cn(SL6系统,16个节点)ATLAS专用登录结点atlasui01.
ihep.
ac.
cn(SL5系统,1个结点,外网)atlasui03.
ihep.
ac.
cn(SL5系统,1个结点,内网)atlasui04.
ihep.
ac.
cn-atlasui06.
ihep.
ac.
cn(SL6系统,3个节点,内网)登录节点使用规范登录节点对用户的资源使用进行了限制使用ulimit–a命令可以查看用户限制cputime(seconds,-t)2700maxuserprocesses(-u)200virtualmemory(kbytes,-v)500000maxmemorysize(kbytes,-m)4194304cputime单个进程的最长CPU时间maxuserprocesses,单个用户最多运行的进程数目virtualmemory,单个进程最多使用的虚拟内存大小maxmemorysize,单个进程最多使用的内存大小Tier3计算资源ATLAS队列中一共有576个核,其中atlass6q与atlasl6q共享504个核Tier3存储资源公共存储区域:用于存放公用的数据、代码、软件安装公共存储区域(Lustre文件系统)/publicfs/atlas(32TB)/publicfs/atlas/newatlas(133TB)公共存储区域(AFS文件系统):用于公共软件安装/afs/ihep.
ac.
cn/soft/atlas/个人存储区域:个人存储区域(Lustre文件系统):用户个人数据空间/workfs/atlas/afs_user_name(每个用户10G/5万个文件限额,登录节点可读写,计算节点只可读)/scratchfs/atlas/afs_user_name(每个用户500G/保存两周,所有节点可读写)个人存储区域(AFS文件系统)/afs/ihep.
ac.
cn/users/(单个用户可用500MB空间)查询个人配额可以从登录结点上运行如下命令,查询Lustre文件系统中公共/个人存储目录的个人文件数目的限额.
lfsquota-uafs_user_name/workfslfsquota-uafs_user_name/scratchfslfsquota-uafs_user_name/publicfsTier3软件Tier3ATLAS软件:/cvmfs/atlas.
cern.
ch/repo/sw/software(从所有的登录/计算节点都可以访问)ATLASTier2ATLASTier2包括登录,数据下载等操作Tier2登录Tier2登录(CERN登录结点)在使用CERN的某些服务(如SVN代码Checkout)时,为避免反复密码认证,可以使用KerberosTicket认证,在所有ATLAS专用的登录结点上(atlas01/03/04/05/06)执行如下操作:初始化ticket:kinitafs_user@CERN.
CH(注意大写)验证TicketklistTier2数据下载DQ2数据下载(使用DQ2工具将数据直接下载到Tier3存储资源上)在登录结点上使用如下命令进行DQ2的初始化source/cvmfs/atlas.
cern.
ch/repo/sw/ddm/latest/setup.
shexportDQ2_LOCAL_SITE_ID=BEIJING-LCG2_LOCALGROUPDISKDATRI数据下载可以通过DATRI接口,订阅数据到本地Tier2,这种方式适合大批量的数据传输.
DATRI会根据用户订阅的数据,选择最佳的源数据,使得数据下载速度加快.
DATRI的访问地址:http://panda.
cern.
ch:25980/server/pandamon/querymode=ddm_req在Destination中选择BEIJING-LCG2_LOCALGROUPDISK(8TB存储空间)DATRI参考材料与ATLAS计算相关的资源ATLASComputingtwiki:http://twiki.
ihep.
ac.
cn/twiki/bin/view/ATLAS/ATLASComputingBEIJING_LCG2ATLASSiteMonitoring:http://casbak.
ihep.
ac.
cn/cgi-bin/ATLASMON/atlas