HP XC System 2.x Software - Manual (Page 6)

6.4.6.1 I/O Commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-8
6.4.6.2 I/O Redirection Alternatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-9
6.4.7 srun Constraint Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-10
6.4.8 srun Environment Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-12
6.4.9 Using srun with HP-MPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-12
6.4.10 Using srun with LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-12
6.5 Monitoring Jobs with the squeue Command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-12
6.6 Killing Jobs with the scancel Command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-13
6.7 Getting System Information with the sinfo Command . . . . . . . . . . . . . . . . . . . . . . . . . . 6-13
6.8 Job Accounting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-14
6.9 Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-14
6.10 Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6-14
7 Using LSF
7.1 Introduction to LSF in the HP XC Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-1
7.1.1 Overview of LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-1
7.1.2 Topology Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-2
7.1.3 Notes on LSF-HPC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-3
7.1.4 How LSF and SLURM Launch and Manage a Job . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-4
7.1.5 Differences Between LSF on HP XC and Standard LSF . . . . . . . . . . . . . . . . . . . . . 7-6
7.1.6 Notes About Using LSF in the HP XC Environment . . . . . . . . . . . . . . . . . . . . . . . . . 7-7
7.1.6.1 Job Startup and Job Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-7
7.1.6.2 Preemption Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-7
7.2 Determining Execution Host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-7
7.3 Determining Available System Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-7
7.3.1 Getting Status of LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-7
7.3.2 Getting Information About LSF-HPC Execution Host Node . . . . . . . . . . . . . . . . 7-8
7.3.3 Getting Host Load Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-8
7.3.4 Checking LSF System Queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-9
7.3.5 Getting Information About the lsf Partition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-9
7.4 Submitting Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-9
7.4.1 Summary of the LSF bsub Command Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-10
7.4.2 LSF-SLURM External Scheduler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-11
7.4.3 Submitting a Serial Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-13
7.4.4 Submitting a Job in Parallel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-13
7.4.5 Submitting an HP-MPI Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-13
7.4.6 Submitting a Batch Job or Job Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-14
7.4.6.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-15
7.4.7 Submitting a Job from a Non-HP XC Host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-16
7.5 Getting Information About Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-17
7.5.1 Getting Job Allocation Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-17
7.5.1.1 Job Allocation Information for a Running Job . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-17
7.5.1.2 Job Allocation Information for a Finished Job . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-18
7.5.2 Checking Status of a Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-18
7.5.3 Viewing a Job’s Historical Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-19
7.6 Working Interactively Within an LSF-HPC Allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-20
7.6.1 Submitting an Interactive Job to Launch the xterm Program . . . . . . . . . . . . . . 7-20
7.6.2 Submitting an Interactive Job to Launch a Shell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-22
7.7 LSF Equivalents of SLURM srun Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7-23
8 Using HP-MPI
8.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8-1
vi Contents