作业曙光5000a
曙光5000a 时间:2021-04-02 阅读:()
武汉大学曙光集群培训目录目录目录目录目录目录目录目录Shell编程基础Linux操作系统培训并行集群调试作业调度系统的使用科学计算程序的编译、运行Shell编程基础Linux操作系统培训并行集群环境搭建作业调度系统的使用PBS/Torque系统简介PBS/Torque的安装配置作业脚本与常用命令高级功能(Torque+Maui)科学计算程序的编译、运行PBS/Torque系统简介PBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS(PortableBatchSystem)PBS最初由NASA的Ames研究中心开发,为了提供一个能满足异构计算网络需要为了提供一个能满足异构计算网络需要的软件包,特别是满足高性能计算的需要.
它力求提供对批处理的初始化和调度执行的控制,允许作业在不同主机间的路由.
PBSPBSPBSPBSPBSPBSPBSPBS的组成的组成的组成的组成的组成的组成的组成的组成主要有用户服务器pbs_server,作业调度器pbs_sched,节点执行器pbs_mom三部分组成,三者之间协同工作,共同三部分组成,三者之间协同工作,共同实现作业管理、作业调度和负载平衡等工作,原理如下图:PBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/Torque的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置PBSPBSPBSPBSPBSPBSPBSPBS运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件服务器与计算节点的rsh必须能正常使用对某个用户的配置–${HOME}/.
rhosts,加入所有主机名–${HOME}/.
rhosts,加入所有主机名对所有用户的配置–计算节点/etc/hosts.
equiv是服务器名–服务器/etc/hosts.
equiv是所有计算节点名安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端用源码来安装#.
/configure--set-server-home=/var/spool/pbs--set-default-home=/var/spool/pbs--set-default-server=server_name#make#makeinstall服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置向/var/spool/pbs/server_name中添加服务器节点的主机名将集群中所有计算节点的主机名加入/var/spool/pbs/server_priv/nodes将集群中所有计算节点的主机名加入/var/spool/pbs/server_priv/nodes中,每个节点一行,如node01np=2将/var/spool/pbs/mom_priv/config中的,$clienthost改为$clienthostserver_name安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端客户端server_name与config的路径和配置与服务器端的完全一样加为开机自动启动加为开机自动启动chkconfig–addpbs_mom服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务器端启动修改/etc/pbs.
conf把start_sched=0改为1为1/etc/init.
d/pbs_serverstart客户端启动/etc/init.
d/pbs_momstart创建队列创建队列创建队列创建队列创建队列创建队列创建队列创建队列自动创建队列#cd/var/spool/pbs#qmgrPBSPBSPBSPBSPBSPBSPBSPBS的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令提交作业提交作业提交作业提交作业提交作业提交作业提交作业提交作业$qsubtest.
pbs-lnodes=16-l用于描述作业需要的资源,例如:nodes=4(4节点每节点1个CPU)nodes=4(4节点每节点1个CPU)nodes=2:ppn=2(2节点每节点2个CPU)nodes=1:ppn=2+2:ppn=1(1个双CPU节点和2个单CPU的节点)当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态得到PBS的当前状态:qstat当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态pbsnodes-{a|l}][-sserver]-a列出所有结点及其属性,属性包括"state"和"properties"-c清除结点列表中的"offline"或"down"状态-c清除结点列表中的"offline"或"down"状态设置,使结点可以被分配给作业.
-l以行的方式列出被标记的结点的状态-o将指定结点的状态标记为"offline".
这将帮助管理员暂时停止某些结点的服务.
-r清除指定结点的"offline"状态-s指定服务器当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态节点状态节点状态节点状态节点状态节点名节点名节点名节点名CPU数数数数其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令qselect–q[队列名]qdel-Deletesataskinthequeue.
qdeljob_identifier.
.
.
qhold-Suspendsajobinthequeue.
qhold-Suspendsajobinthequeue.
qholdjob_identifier.
.
.
qrls-Reactivatesasuspendedjobinthequeue.
qrlsjob_identifier.
.
.
qrerun重新运作作业qmove目标队列作业IDPBSPBSPBSPBSPBSPBSPBSPBS服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理PBSPBSPBSPBSPBSPBSPBSPBS服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制ssacl_host_enable=true指明是否使用acl_hosts属性,缺省为falsefalsessacl_hosts+=hostname.
domain缺省值允许所有的主机ssacl_user_enable=truessacl_users+=user@hostname.
domain设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制sqqnameacl_host_enable=truesqqnameacl_hosts+=hostname.
domainsqqnameacl_user_enable=truesqqnameacl_user_enable=truesqqnameacl_users+=user@hostname.
domainsqqnameacl_group_enable=truesqqnameacl_groups=group_name,[…]缺省为允许所有组设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制服务器级ssresources_default.
resource_name=value队列级队列级sqqnameresources_default.
resource_name=value资源资源资源资源资源资源资源资源作业执行中需要的东西.
例如:某个特定的节点、某个软件包,或者是CPU时间,内存等.
或者是CPU时间,内存等.
qsub–lcput=00:10:00script资源描述资源描述资源描述资源描述资源描述资源描述资源描述资源描述cput作业总共需要的CPU时间.
file作业要创建的文件大小.
nice作业优先级(nice值).
pcput作业中单个进程需要的CPU时间.
pmem作业中单个进程需要的物理内存大小.
pmem作业中单个进程需要的物理内存大小.
pvmem作业中单个进程需要的虚拟内存大小.
vmem作业总共需要的虚拟内存大小.
walltime作业运行的实际时间.
arch作业需要的系统体系结构.
host作业运行的节点名.
nodes作业运行需保留的节点数.
other其他资源.
software作业需要的软件的名称.
正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制服务器级–ssmax_running=value(最多正在运行作业的数目)–ssmax_user_run=value(最多单个用户作业数目)–ssmax_group_run=value(最多单个组任何用户运行的作业数目)队列级–sqqnamemax_running=value–sqqnamemax_user_run=value–sqqnamemax_group_run=valuePBSPBSPBSPBSPBSPBSPBSPBS高级功能高级功能高级功能高级功能高级功能高级功能高级功能高级功能MauiMauiMauiMauiMauiMauiMauiMaui作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具安装–tar-zxfmaui-3.
2.
6p19.
tar.
gz–.
/configure--with-pbs=/usr/local–make–make–makeinstall配置–servicepbs_schedstop–servicemaui.
drestartMauiMauiMauiMauiMauiMauiMauiMaui配置配置配置配置配置配置配置配置vi/usr/local/maui/maui.
cfg–RMPOLLINTERVAL00:00:10//资源信息更新时间–DOWNNODEDELAYTIME48:00:00//设置节点离线最长时间–JOBNODEMATCHPOLICYEXACTNODE//按照节点计算资源–NODEACCESSPOLICYSHARED//节点可以被多个任务使用–BACKFILLPOLICYNONE//使作业按照发送先后顺序获–BACKFILLPOLICYNONE//使作业按照发送先后顺序获//取节点资源–RESERVATIONPOLICYCURRENTHIGHEST//作业调度优先级–NODEALLOCATIONPOLICYCPULOAD//根据CPU负载决定资源获//取顺序关于MAUI各个配置参数的意义,请查看http://www.
clusterresources.
com/products/maui/docs/a.
fparameters.
shtmlMauiMauiMauiMauiMauiMauiMauiMaui高级配置高级配置高级配置高级配置高级配置高级配置高级配置高级配置对用户组进行修饰–USERCFG[DEFAULT]MAXJOB=16MAXNODE=16–GROUPCFG[zxyang]MAXPROC=32–GROUPCFG[shma]MAXPROC=8–GROUPCFG[txwang]MAXPROC=8–GROUPCFG[xqdai]MAXPROC=32对节点进行修饰–NODECFG[DEFAULT]MAXLOAD=2.
5–NODECFG[node031]MAXJOB=2PROCSPEED=600PARTITION=small对节点与用户进行修饰–SRCFG[tmp1]HOSTLIST=node2,node3,node4,node5,node6,node7,node8,node14,node15–SRCFG[tmp1]USERLIST=accelrys,master,doctor,wlliu,nanosun,tanxin,myl–SRCFG[tmp1]PERIOD=INFINITYPAMPAMPAMPAMPAMPAMPAMPAM认证设置认证设置认证设置认证设置认证设置认证设置认证设置认证设置限制用户绕过作业调度提交作业vi/etc/security/access.
conf–-:ALLEXCEPTrootshi:ALLvi/etc/pam.
d/system-authvi/etc/pam.
d/system-auth–accountsufficient/lib64/security/$ISA/pam_pbssimpleauth.
so–accountrequired/lib64/security/$ISA/pam_access.
so作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)下载地址:–ftp://ftp.
fysik.
dtu.
dk/pub/PBS/使用方式:–#pbsacct/var/spool/torque/server_priv/accounting/200804*–#pbsacct/var/spool/torque/server_priv/accounting/200804*历史作业查询:–Usage:/usr/local/bin/joblist(-jJobid|-nUserName)Date–joblist-j3161320081013查询jobid为31613发生于20081013的作业情况–joblist-nbdb20081013查询用户bdb发生于20081013的作业情况–joblist-nbdb2008101*采用通配符方式查询用户bdb的作业情况Shell编程基础Linux操作系统培训并行集群环境搭建作业调度系统的使用科学计算程序的编译、运行数学函数库的编译与使用科学计算程序的编译、运行数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用IndexIndexIndexIndexIndexIndexIndexIndexACMLACMLACMLACMLACMLACMLACMLACMLBLASBLASBLASBLASBLASBLASBLASBLAS库库库库库库库库LAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACK库库库库库库库库BLASCBLASCBLASCBLASCBLASCBLASCBLASCBLASCScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKGOTOGOTOGOTOGOTOGOTOGOTOGOTOGOTO库库库库库库库库ATLASATLASATLASATLASATLASATLASATLASATLAS库库库库库库库库FFTWFFTWFFTWFFTWFFTWFFTWFFTWFFTW库库库库库库库库ACMLACMLACMLACMLACMLACMLACMLACML库库库库库库库库两种安装方式–源码安装tar-xzvfacml-64bit-2-1-0.
tgz执行.
/install64.
sh–然后按提示输入–然后按提示输入安装完毕,acml安装在/opt/acml2.
1.
0目录下–PGI自带ACML库通过安装PGI编译器安装ACML库BLASBLASBLASBLASBLASBLASBLASBLAS系统自带–/usr/lib64/libblas.
a–/usr/lib64/libblas.
so源码安装源码安装–tar–xzvfblas.
tar.
gz–重新编辑Makefile文件–执行make,生成库文件libblas.
aLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACK库库库库库库库库源码安装–安装LAPACK库之前,首先系统已经安装了BLAS库.
tar–xzvflapack.
gz从LAPACK/INSTALL目录下相应平台的Make文件到LAPACK目录下,对于Linux平台来说,cp目录下,对于Linux平台来说,cpLAPACK/INSTALL/make.
inc.
LINUXLAPACK/make.
inc.
修改LAPACK/make.
inc文件,主要修改BLAS库的路径,将BLASLIB=.
.
/.
.
/blas$(PLAT).
a修改为系统中的BLAS库.
进入LAPACK目录,执行make,生成LAPACK库文件lapack_LINUX.
aMPIMPIMPIMPIMPIMPIMPIMPIBLACBLACBLACBLACBLACBLACBLACBLACSSSSSSSS源码安装–在安装MPIBLACS之前,首先要确定已经在系统中成功安装了MPI或者PVM.
执行tar–xzvfmpiblacs.
tgz,解开压缩包执行cdBLACS进入BLACS的主目录执行cdBLACS进入BLACS的主目录从BMAKES目录下拷贝相应的Make配置文件到BLACS的主目录下,例如,系统是采用Linux操作系统并且希望采用MPI安装BLASC,则执行cpBMAKES/Bmake.
MPI-LINUXBmake.
inc编辑Bmake.
inc文件若是采用Intel编译器或pgi编译器,需要修改Bmake.
inc文件中Fortran转C语言部分参数在BLACS主目录下执行makempiScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACK源码安装–在安装ScaLAPACK之前,首先要确定已经在系统中成功安装了MPI、BLAS和MPIBLACS,确定在上述几个软件安装好以后,再开始安装ScaLAPACK.
执行tar–xzvflapack.
tgz,解开压缩包执行cdSCALAPACK进入SCALAPACK的主目录执行cdSCALAPACK进入SCALAPACK的主目录从INSTALL目录下拷贝相应的Make配置文件到SCALAPACK的主目录下,例如,系统是采用Linux操作系统的,则执行cpINSTALL/SLmake.
LINUXSLmake.
inc编辑SLmake.
inc文件若是采用Intel编译器或pgi编译器,需要修改SLmake.
inc文件中Fortran转C语言部分参数在SCALAPACK主目录下执行make在SCALAPACK/TESTING/EIG目录下执行make在SCALAPACK/TESTING/LIN目录下执行makeATLASATLASATLASATLASATLASATLASATLASATLAS库库库库库库库库推荐二进制安装–从网站上下载相对应平台的ATLAS库,然后解压缩即可.
–性能较好–性能较好GOTOGOTOGOTOGOTOGOTOGOTOGOTOGOTO库库库库库库库库曙光5000ALinpack测试采用的BLAS库–二进制版本:从www.
cs.
utexas.
edu/users/flame/goto/网站上下载相对应平台的GOTO库,然后解压缩即可.
GOTO–源码版本:执行tarzxfGotoBLAS-1.
26.
tar.
gz执行cdGotoBLAS修改Makefile.
rulemake–j8makeinstallFFTWFFTWFFTWFFTWFFTWFFTWFFTWFFTW库库库库库库库库源码安装–从网站上下载fftw库的源代码包fftw-3.
0.
1.
tar.
gz–执行tar–xzvffftw-3.
0.
1.
tar.
gz进行解包–执行cdfftw-3.
0.
1进入fftw的目录–执行.
/configure–prefix=,其中为你要安装fftw库的目录–执行make–执行makeinstall–安装完毕科学计算程序的编译科学计算程序的编译科学计算程序的编译科学计算程序的编译、、、、运行运行运行运行科学计算程序的编译科学计算程序的编译科学计算程序的编译科学计算程序的编译、、、、运行运行运行运行DOCK–生物、化学WRF–气象、环境–气象、环境VASP–从头计算量子化学LS-DYNA–显式动力分析软件DOCKDOCKDOCKDOCKDOCKDOCKDOCKDOCK编译–1下载源包dock.
6.
2_source.
tar.
gz–2解压tarxvzfdock.
6.
2_source.
tar.
gz–3编译–3A进入路径cddock6/installB.
/configuregnuparallelCexportMPICH_HOME=your-MPICHDmake运行–生成grid文件–pbs提交作业DOCKDOCKDOCKDOCKDOCKDOCKDOCKDOCKpbs脚本–#PBS-Ndock–#PBS-lnodes=8:ppn=4–#PBS-lnodes=8:ppn=4–cd/data1/user/test/dock/dock6/tutorials/mpi_demo/4_dock/–time/data1/openmpi.
static.
pgi/bin/mpirun-np32--mcabtltcp,self,smbin/dock6.
mpi-impi.
in-ompi.
outWRFWRFWRFWRFWRFWRFWRFWRF编译安装–首先环境变量设置,运行.
/en.
sh–解压缩netcdf–输入.
/configure--prefix=/opt/netcdf–exportNETCDF=/opt/netcdf–exportNETCDF=/opt/netcdf–make;makeinstall–解压缩WRF–进入wrf文件夹–.
/configure,里面会有选择,选择3就可以了–.
/comepileem_real运行–pbs作业提交WRFWRFWRFWRFWRFWRFWRFWRFpbs脚本–#PBS-Nwrf–#PBS-lnodes=1:ppn=4–cd/data1/user/test/WRFV2/test/em_real–time/data1/openmpi.
static.
pgi/bin/mpirun--mcabtltcp,self,sm-np4.
/wrf.
exeVASPVASPVASPVASPVASPVASPVASPVASP编译安装–解压源码包–编译lib修改Makefile修改Makefile–编译vasp修改Makefile运行–pbs作业提交VASPVASPVASPVASPVASPVASPVASPVASPpbs脚本–#PBS-Nvasp–#PBS-lnodes=2:ppn=4–cd/data1/user/test/vasp.
Hg–cd/data1/user/test/vasp.
Hg–time/data1/openmpi.
static.
pgi/bin/mpirun--mcabtltcp,self,sm-np8.
/vaspLSLSLSLSLSLSLSLS--------DYNADYNADYNADYNADYNADYNADYNADYNA安装–不需要编译运行–pbs作业调度提交–pbs作业调度提交pbs脚本–#PBS-Nlsdyna–#PBS-lnodes=node3:ppn=4+node4:ppn=4+node5:ppn=4+node6:ppn=4–cd$PBS_O_WORKDIR–NODEFILE=`sort$PBS_NODEFILE|uniq-c|awk'{printf("%s:%s:",$2,$1);}'`–timeansys110-lsdynampp-np16i=j.
k-machines$NODEFILEmemory=200M欢迎提问!
它力求提供对批处理的初始化和调度执行的控制,允许作业在不同主机间的路由.
PBSPBSPBSPBSPBSPBSPBSPBS的组成的组成的组成的组成的组成的组成的组成的组成主要有用户服务器pbs_server,作业调度器pbs_sched,节点执行器pbs_mom三部分组成,三者之间协同工作,共同三部分组成,三者之间协同工作,共同实现作业管理、作业调度和负载平衡等工作,原理如下图:PBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/TorquePBS/Torque的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置的安装配置PBSPBSPBSPBSPBSPBSPBSPBS运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件运行的前提条件服务器与计算节点的rsh必须能正常使用对某个用户的配置–${HOME}/.
rhosts,加入所有主机名–${HOME}/.
rhosts,加入所有主机名对所有用户的配置–计算节点/etc/hosts.
equiv是服务器名–服务器/etc/hosts.
equiv是所有计算节点名安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端安装服务器端用源码来安装#.
/configure--set-server-home=/var/spool/pbs--set-default-home=/var/spool/pbs--set-default-server=server_name#make#makeinstall服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置服务器端的配置向/var/spool/pbs/server_name中添加服务器节点的主机名将集群中所有计算节点的主机名加入/var/spool/pbs/server_priv/nodes将集群中所有计算节点的主机名加入/var/spool/pbs/server_priv/nodes中,每个节点一行,如node01np=2将/var/spool/pbs/mom_priv/config中的,$clienthost改为$clienthostserver_name安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端安装配置客户端客户端server_name与config的路径和配置与服务器端的完全一样加为开机自动启动加为开机自动启动chkconfig–addpbs_mom服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务的启动服务器端启动修改/etc/pbs.
conf把start_sched=0改为1为1/etc/init.
d/pbs_serverstart客户端启动/etc/init.
d/pbs_momstart创建队列创建队列创建队列创建队列创建队列创建队列创建队列创建队列自动创建队列#cd/var/spool/pbs#qmgrPBSPBSPBSPBSPBSPBSPBSPBS的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令的常用命令提交作业提交作业提交作业提交作业提交作业提交作业提交作业提交作业$qsubtest.
pbs-lnodes=16-l用于描述作业需要的资源,例如:nodes=4(4节点每节点1个CPU)nodes=4(4节点每节点1个CPU)nodes=2:ppn=2(2节点每节点2个CPU)nodes=1:ppn=2+2:ppn=1(1个双CPU节点和2个单CPU的节点)当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态当前任务状态得到PBS的当前状态:qstat当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态pbsnodes-{a|l}][-sserver]-a列出所有结点及其属性,属性包括"state"和"properties"-c清除结点列表中的"offline"或"down"状态-c清除结点列表中的"offline"或"down"状态设置,使结点可以被分配给作业.
-l以行的方式列出被标记的结点的状态-o将指定结点的状态标记为"offline".
这将帮助管理员暂时停止某些结点的服务.
-r清除指定结点的"offline"状态-s指定服务器当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态当前节点状态节点状态节点状态节点状态节点状态节点名节点名节点名节点名CPU数数数数其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令其他常用命令qselect–q[队列名]qdel-Deletesataskinthequeue.
qdeljob_identifier.
.
.
qhold-Suspendsajobinthequeue.
qhold-Suspendsajobinthequeue.
qholdjob_identifier.
.
.
qrls-Reactivatesasuspendedjobinthequeue.
qrlsjob_identifier.
.
.
qrerun重新运作作业qmove目标队列作业IDPBSPBSPBSPBSPBSPBSPBSPBS服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理服务器管理PBSPBSPBSPBSPBSPBSPBSPBS服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令服务器管理命令设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制设置服务器级的访问控制ssacl_host_enable=true指明是否使用acl_hosts属性,缺省为falsefalsessacl_hosts+=hostname.
domain缺省值允许所有的主机ssacl_user_enable=truessacl_users+=user@hostname.
domain设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制设置队列级的访问控制sqqnameacl_host_enable=truesqqnameacl_hosts+=hostname.
domainsqqnameacl_user_enable=truesqqnameacl_user_enable=truesqqnameacl_users+=user@hostname.
domainsqqnameacl_group_enable=truesqqnameacl_groups=group_name,[…]缺省为允许所有组设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制设置服务器与队列的资源限制服务器级ssresources_default.
resource_name=value队列级队列级sqqnameresources_default.
resource_name=value资源资源资源资源资源资源资源资源作业执行中需要的东西.
例如:某个特定的节点、某个软件包,或者是CPU时间,内存等.
或者是CPU时间,内存等.
qsub–lcput=00:10:00script资源描述资源描述资源描述资源描述资源描述资源描述资源描述资源描述cput作业总共需要的CPU时间.
file作业要创建的文件大小.
nice作业优先级(nice值).
pcput作业中单个进程需要的CPU时间.
pmem作业中单个进程需要的物理内存大小.
pmem作业中单个进程需要的物理内存大小.
pvmem作业中单个进程需要的虚拟内存大小.
vmem作业总共需要的虚拟内存大小.
walltime作业运行的实际时间.
arch作业需要的系统体系结构.
host作业运行的节点名.
nodes作业运行需保留的节点数.
other其他资源.
software作业需要的软件的名称.
正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制正在运行的作业数目限制服务器级–ssmax_running=value(最多正在运行作业的数目)–ssmax_user_run=value(最多单个用户作业数目)–ssmax_group_run=value(最多单个组任何用户运行的作业数目)队列级–sqqnamemax_running=value–sqqnamemax_user_run=value–sqqnamemax_group_run=valuePBSPBSPBSPBSPBSPBSPBSPBS高级功能高级功能高级功能高级功能高级功能高级功能高级功能高级功能MauiMauiMauiMauiMauiMauiMauiMaui作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具作业调度工具安装–tar-zxfmaui-3.
2.
6p19.
tar.
gz–.
/configure--with-pbs=/usr/local–make–make–makeinstall配置–servicepbs_schedstop–servicemaui.
drestartMauiMauiMauiMauiMauiMauiMauiMaui配置配置配置配置配置配置配置配置vi/usr/local/maui/maui.
cfg–RMPOLLINTERVAL00:00:10//资源信息更新时间–DOWNNODEDELAYTIME48:00:00//设置节点离线最长时间–JOBNODEMATCHPOLICYEXACTNODE//按照节点计算资源–NODEACCESSPOLICYSHARED//节点可以被多个任务使用–BACKFILLPOLICYNONE//使作业按照发送先后顺序获–BACKFILLPOLICYNONE//使作业按照发送先后顺序获//取节点资源–RESERVATIONPOLICYCURRENTHIGHEST//作业调度优先级–NODEALLOCATIONPOLICYCPULOAD//根据CPU负载决定资源获//取顺序关于MAUI各个配置参数的意义,请查看http://www.
clusterresources.
com/products/maui/docs/a.
fparameters.
shtmlMauiMauiMauiMauiMauiMauiMauiMaui高级配置高级配置高级配置高级配置高级配置高级配置高级配置高级配置对用户组进行修饰–USERCFG[DEFAULT]MAXJOB=16MAXNODE=16–GROUPCFG[zxyang]MAXPROC=32–GROUPCFG[shma]MAXPROC=8–GROUPCFG[txwang]MAXPROC=8–GROUPCFG[xqdai]MAXPROC=32对节点进行修饰–NODECFG[DEFAULT]MAXLOAD=2.
5–NODECFG[node031]MAXJOB=2PROCSPEED=600PARTITION=small对节点与用户进行修饰–SRCFG[tmp1]HOSTLIST=node2,node3,node4,node5,node6,node7,node8,node14,node15–SRCFG[tmp1]USERLIST=accelrys,master,doctor,wlliu,nanosun,tanxin,myl–SRCFG[tmp1]PERIOD=INFINITYPAMPAMPAMPAMPAMPAMPAMPAM认证设置认证设置认证设置认证设置认证设置认证设置认证设置认证设置限制用户绕过作业调度提交作业vi/etc/security/access.
conf–-:ALLEXCEPTrootshi:ALLvi/etc/pam.
d/system-authvi/etc/pam.
d/system-auth–accountsufficient/lib64/security/$ISA/pam_pbssimpleauth.
so–accountrequired/lib64/security/$ISA/pam_access.
so作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统作业调度记账系统(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)(pbsacct)下载地址:–ftp://ftp.
fysik.
dtu.
dk/pub/PBS/使用方式:–#pbsacct/var/spool/torque/server_priv/accounting/200804*–#pbsacct/var/spool/torque/server_priv/accounting/200804*历史作业查询:–Usage:/usr/local/bin/joblist(-jJobid|-nUserName)Date–joblist-j3161320081013查询jobid为31613发生于20081013的作业情况–joblist-nbdb20081013查询用户bdb发生于20081013的作业情况–joblist-nbdb2008101*采用通配符方式查询用户bdb的作业情况Shell编程基础Linux操作系统培训并行集群环境搭建作业调度系统的使用科学计算程序的编译、运行数学函数库的编译与使用科学计算程序的编译、运行数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用数学函数库的编译与使用IndexIndexIndexIndexIndexIndexIndexIndexACMLACMLACMLACMLACMLACMLACMLACMLBLASBLASBLASBLASBLASBLASBLASBLAS库库库库库库库库LAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACK库库库库库库库库BLASCBLASCBLASCBLASCBLASCBLASCBLASCBLASCScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKGOTOGOTOGOTOGOTOGOTOGOTOGOTOGOTO库库库库库库库库ATLASATLASATLASATLASATLASATLASATLASATLAS库库库库库库库库FFTWFFTWFFTWFFTWFFTWFFTWFFTWFFTW库库库库库库库库ACMLACMLACMLACMLACMLACMLACMLACML库库库库库库库库两种安装方式–源码安装tar-xzvfacml-64bit-2-1-0.
tgz执行.
/install64.
sh–然后按提示输入–然后按提示输入安装完毕,acml安装在/opt/acml2.
1.
0目录下–PGI自带ACML库通过安装PGI编译器安装ACML库BLASBLASBLASBLASBLASBLASBLASBLAS系统自带–/usr/lib64/libblas.
a–/usr/lib64/libblas.
so源码安装源码安装–tar–xzvfblas.
tar.
gz–重新编辑Makefile文件–执行make,生成库文件libblas.
aLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACKLAPACK库库库库库库库库源码安装–安装LAPACK库之前,首先系统已经安装了BLAS库.
tar–xzvflapack.
gz从LAPACK/INSTALL目录下相应平台的Make文件到LAPACK目录下,对于Linux平台来说,cp目录下,对于Linux平台来说,cpLAPACK/INSTALL/make.
inc.
LINUXLAPACK/make.
inc.
修改LAPACK/make.
inc文件,主要修改BLAS库的路径,将BLASLIB=.
.
/.
.
/blas$(PLAT).
a修改为系统中的BLAS库.
进入LAPACK目录,执行make,生成LAPACK库文件lapack_LINUX.
aMPIMPIMPIMPIMPIMPIMPIMPIBLACBLACBLACBLACBLACBLACBLACBLACSSSSSSSS源码安装–在安装MPIBLACS之前,首先要确定已经在系统中成功安装了MPI或者PVM.
执行tar–xzvfmpiblacs.
tgz,解开压缩包执行cdBLACS进入BLACS的主目录执行cdBLACS进入BLACS的主目录从BMAKES目录下拷贝相应的Make配置文件到BLACS的主目录下,例如,系统是采用Linux操作系统并且希望采用MPI安装BLASC,则执行cpBMAKES/Bmake.
MPI-LINUXBmake.
inc编辑Bmake.
inc文件若是采用Intel编译器或pgi编译器,需要修改Bmake.
inc文件中Fortran转C语言部分参数在BLACS主目录下执行makempiScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACKScaLAPACK源码安装–在安装ScaLAPACK之前,首先要确定已经在系统中成功安装了MPI、BLAS和MPIBLACS,确定在上述几个软件安装好以后,再开始安装ScaLAPACK.
执行tar–xzvflapack.
tgz,解开压缩包执行cdSCALAPACK进入SCALAPACK的主目录执行cdSCALAPACK进入SCALAPACK的主目录从INSTALL目录下拷贝相应的Make配置文件到SCALAPACK的主目录下,例如,系统是采用Linux操作系统的,则执行cpINSTALL/SLmake.
LINUXSLmake.
inc编辑SLmake.
inc文件若是采用Intel编译器或pgi编译器,需要修改SLmake.
inc文件中Fortran转C语言部分参数在SCALAPACK主目录下执行make在SCALAPACK/TESTING/EIG目录下执行make在SCALAPACK/TESTING/LIN目录下执行makeATLASATLASATLASATLASATLASATLASATLASATLAS库库库库库库库库推荐二进制安装–从网站上下载相对应平台的ATLAS库,然后解压缩即可.
–性能较好–性能较好GOTOGOTOGOTOGOTOGOTOGOTOGOTOGOTO库库库库库库库库曙光5000ALinpack测试采用的BLAS库–二进制版本:从www.
cs.
utexas.
edu/users/flame/goto/网站上下载相对应平台的GOTO库,然后解压缩即可.
GOTO–源码版本:执行tarzxfGotoBLAS-1.
26.
tar.
gz执行cdGotoBLAS修改Makefile.
rulemake–j8makeinstallFFTWFFTWFFTWFFTWFFTWFFTWFFTWFFTW库库库库库库库库源码安装–从网站上下载fftw库的源代码包fftw-3.
0.
1.
tar.
gz–执行tar–xzvffftw-3.
0.
1.
tar.
gz进行解包–执行cdfftw-3.
0.
1进入fftw的目录–执行.
/configure–prefix=,其中为你要安装fftw库的目录–执行make–执行makeinstall–安装完毕科学计算程序的编译科学计算程序的编译科学计算程序的编译科学计算程序的编译、、、、运行运行运行运行科学计算程序的编译科学计算程序的编译科学计算程序的编译科学计算程序的编译、、、、运行运行运行运行DOCK–生物、化学WRF–气象、环境–气象、环境VASP–从头计算量子化学LS-DYNA–显式动力分析软件DOCKDOCKDOCKDOCKDOCKDOCKDOCKDOCK编译–1下载源包dock.
6.
2_source.
tar.
gz–2解压tarxvzfdock.
6.
2_source.
tar.
gz–3编译–3A进入路径cddock6/installB.
/configuregnuparallelCexportMPICH_HOME=your-MPICHDmake运行–生成grid文件–pbs提交作业DOCKDOCKDOCKDOCKDOCKDOCKDOCKDOCKpbs脚本–#PBS-Ndock–#PBS-lnodes=8:ppn=4–#PBS-lnodes=8:ppn=4–cd/data1/user/test/dock/dock6/tutorials/mpi_demo/4_dock/–time/data1/openmpi.
static.
pgi/bin/mpirun-np32--mcabtltcp,self,smbin/dock6.
mpi-impi.
in-ompi.
outWRFWRFWRFWRFWRFWRFWRFWRF编译安装–首先环境变量设置,运行.
/en.
sh–解压缩netcdf–输入.
/configure--prefix=/opt/netcdf–exportNETCDF=/opt/netcdf–exportNETCDF=/opt/netcdf–make;makeinstall–解压缩WRF–进入wrf文件夹–.
/configure,里面会有选择,选择3就可以了–.
/comepileem_real运行–pbs作业提交WRFWRFWRFWRFWRFWRFWRFWRFpbs脚本–#PBS-Nwrf–#PBS-lnodes=1:ppn=4–cd/data1/user/test/WRFV2/test/em_real–time/data1/openmpi.
static.
pgi/bin/mpirun--mcabtltcp,self,sm-np4.
/wrf.
exeVASPVASPVASPVASPVASPVASPVASPVASP编译安装–解压源码包–编译lib修改Makefile修改Makefile–编译vasp修改Makefile运行–pbs作业提交VASPVASPVASPVASPVASPVASPVASPVASPpbs脚本–#PBS-Nvasp–#PBS-lnodes=2:ppn=4–cd/data1/user/test/vasp.
Hg–cd/data1/user/test/vasp.
Hg–time/data1/openmpi.
static.
pgi/bin/mpirun--mcabtltcp,self,sm-np8.
/vaspLSLSLSLSLSLSLSLS--------DYNADYNADYNADYNADYNADYNADYNADYNA安装–不需要编译运行–pbs作业调度提交–pbs作业调度提交pbs脚本–#PBS-Nlsdyna–#PBS-lnodes=node3:ppn=4+node4:ppn=4+node5:ppn=4+node6:ppn=4–cd$PBS_O_WORKDIR–NODEFILE=`sort$PBS_NODEFILE|uniq-c|awk'{printf("%s:%s:",$2,$1);}'`–timeansys110-lsdynampp-np16i=j.
k-machines$NODEFILEmemory=200M欢迎提问!
Megalayer优化带宽和VPS主机主机方案策略 15M CN2优化带宽和30M全向带宽
Megalayer 商家主营业务是以独立服务器和站群服务器的，后来也陆续的有新增香港、菲律宾数据中心的VPS主机产品。由于其线路的丰富，还是深受一些用户喜欢的，有CN2优化直连线路，有全向国际线路，以及针对欧美的国际线路。这次有看到商家也有新增美国机房的VPS主机，也有包括15M带宽CN2优化带宽以及30M带宽的全向线路。Megalayer 商家提供的美国机房VPS产品，提供的配置方案也是比较多，...
RAKsmart秒杀服务器$30/月,洛杉矶/圣何塞/香港/日本站群特价
RAKsmart发布了9月份优惠促销活动，从9月1日~9月30日期间，爆款美国服务器每日限量抢购最低$30.62-$46/月起，洛杉矶/圣何塞/香港/日本站群大量补货特价销售，美国1-10Gbps大带宽不限流量服务器低价热卖等。RAKsmart是一家华人运营的国外主机商，提供的产品包括独立服务器租用和VPS等，可选数据中心包括美国加州圣何塞、洛杉矶、中国香港、韩国、日本、荷兰等国家和地区数据中心(...
Dynadot多种后缀优惠域名优惠码 ，.COM域名注册$6.99
Dynadot 是一家非常靠谱的域名注册商家，老唐也从来不会掩饰对其的喜爱，目前我个人大部分域名都在 Dynadot，还有一小部分在 NameCheap 和腾讯云。本文分享一下 Dynadot 最新域名优惠码，包括 .COM，.NET 等主流后缀的优惠码，以及一些新顶级后缀的优惠。对于域名优惠，NameCheap 的新后缀促销比较多，而 Dynadot 则是对于主流后缀的促销比较多，所以可以各取所...
曙光5000a为你推荐
-
京沪高铁上市首秀哪些企业建设京沪高铁？12306崩溃iphone 12306网络错误Baby被问婚变绯闻baby的歌词rap那一段为什么不一样留学生认证留学生学历认证的意义是什么？蓝色骨头手机宠物的骨头分别代表几级？access数据库access数据库的组成是什么百度关键词价格查询百度推广关键词怎么扣费？百度关键词工具如何通过百度官方工具提升关键词排名javmoo.com0904-javbo.net_avop210hhb主人公叫什么，好喜欢，有知道的吗javlibrary.comImage Library Sell Photos Digital Photos Photo Sharing Photo Restoration Digital Photos Photo Albums