熟练掌握启明超算的进入与退出
都不许笑...你猜猜安装 python 能卡住多少朋友们...
登录启明
启明是南方科技大学自建的超算，所以首先得是一位校友对吧...
嗯，首先得拥有一个启明超算的账号，这个...应该是有导师申请，或者参加了 HPC 相关培训、ASC 等 HPC 比赛就能拥有
可以从 Quick Start for Supercomputers (Version 2024.11) 看到更多的教程（记得连校园网，不能挂代理）
可看到如下的节点登录命令：
ssh -p 18188 username@172.18.6.10
18188 表示登陆节点开放的登录端口，username 是你拥有的账号名字，而后面的 172.18.6.10 则是超算地址了
在登陆后会提示输入密码，输入后登录成功
似乎还有太乙的登录...不过太乙也忒老了些
计算队列与节点
启明采用超算的一贯管理模式，拥有大量的计算节点，每个 节点会类似于一个完整的计算机（当然也有许多不同）
节点根据类型被组织为队列，用户可以向队列 or 节点提交自己的计算任务（称为作业），计算节点会对这些作业进行计算
刚才我们进入的节点是登录节点，只用来登录、安装环境与做一些编译工作，不能用于运行计算任务（会导致别人卡住然后被管理员肉身威胁）
执行以下命令以查看所有的队列
bqueues
QUEUE_NAME PRIO STATUS MAX JL/U JL/P JL/H NJOBS PEND RUN SUSP
test 60 Open:Active - - - - 176 0 176 0
spec-gpu 40 Open:Active - - - - 60 0 60 0
spec-cpu 40 Open:Active - - - - 165 0 165 0
dataq 33 Open:Active - - - - 0 0 0 0
38 30 Open:Active - - - - 424 0 424 0
ot38 30 Open:Active - - - - 0 0 0 0
2t50c 30 Open:Active - - - - 256 0 256 0
73x 30 Open:Active - - - - 0 0 0 0
63 30 Open:Active - - - - 4 0 4 0
v3-6t 30 Open:Active - - - - 432 0 432 0
v3-64 30 Open:Active - - - - 1320 0 1320 0
v3-128 30 Open:Active - - - - 0 0 0 0
1t75c 30 Open:Active - - - - 512 0 512 0
1t88c 30 Open:Active - - - - 960 48 912 0
52 30 Open:Active - - - - 0 0 0 0
33 30 Open:Active - - - - 80 0 80 0
2a100-40 30 Open:Active - - - - 0 0 0 0
4a100-40 30 Open:Active - - - - 14 0 14 0
2a100-80 30 Open:Active - - - - 8 0 8 0
4a100-80 30 Open:Active - - - - 9 5 4 0
hgx 30 Open:Active - - - - 8 0 8 0
2v100-32-sc 30 Open:Active - - - - 1 0 1 0
2v100-32-e5 30 Open:Active - - - - 6 0 6 0
4v100-16-e5 30 Open:Active - - - - 6 0 6 0
4v100-16-sc 30 Open:Active - - - - 16 12 4 0
4a100-96 30 Open:Active - - - - 0 0 0 0
ssc-gpu 30 Open:Active - - - - 0 0 0 0
ssc-cpu 30 Open:Active - - - - 152 0 152 0
dcu 30 Open:Active - - - - 0 0 0 0
NJOB 指的是目前在该队列上运行的作业总数，PEND 便是等待队列中的作业数
好像 2a100-40 这个队列比较空，可以用以下命令查看队列的节点状况
bhosts hg_2a100-40
HOST_NAME STATUS JL/U MAX NJOBS RUN SSUSP USUSP RSV
b05u37g ok - 40 0 0 0 0 0
bhosts 命令表示查看某个节 点的情况，在队列名前加前缀 hg_ 以查询该队列下节点的运行状态
当然，如果想要直接查看可用节点，可以直接运行 bhosts，如果只希望查看带 GPU 的节点情况，可以用 bhosts -gpu -w
回到我们的作业，现在我们确定了希望使用 2a100-40 队列中的 b05u37g 这个计算节点
作业脚本的编写
因为登录节点和计算节点的储存位置实际上相同，所以我们需要先在登录节点上配置环境
这里以 conda 为例，试图在计算节点上启动一个 jupyter 笔记本
安装 conda
可以去 Conda 官网找到 miniconda 的下载链接，用 wget 下载到登录节点你的工作目录中，接下来 sh 安装该包
安装好后启动 conda，创建一个环境 conda create -n YourEnvName，然后 conda activate YourEnvName 激活环境
接下来 pip install jupyter 安装 jupyter 笔记本即可
在这里其实卡住过，环境变量没配置好导致未能识别到 conda 命令
这个时候可以手动补充路径
./miniconda/bin/conda做好 init 与 activate 工作
编写 LSF 作业脚本
LSF 是什么？文档告诉我们...
LSF（Load Sharing Facility）是一款分布式集群管理系统软件，负责计算资源的管理和批处理作业的调度。 它给用户提供统一的集群资源访问接口，让用户透明地访问整个集群资源。 同时提供了丰富的功能和可定制的策略。 LSF 具有良好的可伸缩性和高可用性，支持几乎所有的主流操作系统。 它通常是高性能计算环境中不可或缺的基础软件。
这里直接给出一个在 GPU 节点上挂在 jupyter 的 lsf 脚本...
#!/bin/bash
#BSUB -q 2a100-40
#BSUB -n 6
#BSUB -e %J.err
#BSUB -o %J.out
#BSUB -gpu "num=1"
#BSUB -R "affinity[core(1)]"
# # # # # # # # # # # # # # # # # # # # # #
# GPU jupyter notebook setup
# # # # # # # # # # # # # # # # # # # # # #
## Move to directory:
cd /work/your_work_dir
## Setup environment
module load cuda/12.1
source ~/.bashrc
export PATH=/work/ssc-test5/miniconda3/envs/test-python-env/bin:$PATH
./miniconda3/bin/conda activate test-python-env
# get tunneling info
export XDG_RUNTIME_DIR="" node=$(hostname -s)
user=$(whoami)
submit_host=${SLURM_SUBMIT_HOST}
port=1145
echo $node pinned to port $port
# print tunneling instructions
echo -e "
To connect to the compute node ${node} running your jupyter notebook server, you need to run following two commands in a terminal 1.
Command to create ssh tunnel from you workstation/laptop to glogin:
ssh -p 18188 -L ${port}:${node}:${port} ${user}@172.18.6.10
Copy the link provided below by jupyter-server and replace the NODENAME with localhost before pasting it in your browser on your workstation/laptop "
# Run Jupyter
jupyter notebook --no-browser --port=${port} --port-retries=50 --ip=${node}
解析一下上面的命令
#BSUB相关配置
这是启明超算要求作业脚本给出的作业参数，其中
-q表示作业使用的队列-n表示作业使用的 CPU 核数，推荐设置为 最大核数 / GPU 总数量 * GPU使用数量-e标准错误输出流重定向到的文件-o标准输出流重定向到的文件-gpu设定使用的显卡数量-R这个参数是管理员推荐加上的，虽然我也不太清楚有啥用...
module load cuda/12.1加载CUDA工具包export PATH=...这个命令是为了解决conda无法自动启用的问题，如果没有啥问题，也不一定需要这一句...# get tunneling info及以下命令，设定一些变量，储存当前信息，同时设定要进行 jupyter GUI 映射的端口号，这里是 1145jupyter notebook ...正式启动 jupyter
这样就写好了一个作业脚本，我们将其命名为 gpu_job.lsf
提交作业脚本并连接到 jupyter
提交作业脚本用 bsub 命令，例如
bsub -m "b05u37g" < gpu_job.lsf
这样能够把 gpu_job.lsf 提交到 b05u37g，注意节点应该对应作业脚本中指定的队列
如果提交成功，会看到如下输出
Job <xxx> is submitted to queue <2a100-40>
表示 ID 为 xxx 的作业已经被移交到对应队列
等待几秒，刷新一下文件列表，可以看到自己的工作目录下出现了两个输出文件，分别是 xxx.out（标准输出）与 xxx.err（标准错误输出）
打开 xxx.out 文件，如果没有出错，可以看到 echo 命令输出了对应的连接提示：
To connect to the compute node b05u37g running your jupyter notebook server, you need to run following two commands in a terminal 1.
Command to create ssh tunnel from you workstation/laptop to glogin:
ssh -p 18188 -L 1145:b05u37g:1145 username@172.18.6.10
Copy the link provided below by jupyter-server and replace the NODENAME with localhost before pasting it in your browser on your workstation/laptop
再查看 xxx.err 文件，理论上应该会输出如下信息：
[I 2024-12-22 11:43:29.220 ServerApp] Jupyter Server 2.15.0 is running at:
[I 2024-12-22 11:43:29.221 ServerApp] http://b05u31g:1145/tree?token=...
[I 2024-12-22 11:43:29.221 ServerApp] http://127.0.0.1:1145/tree?token=...
[I 2024-12-22 11:43:29.221 ServerApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 2024-12-22 11:43:29.224 ServerApp]
To access the server, open this file in a browser:
file:///work/username/.local/share/jupyter/runtime/jpserver-...-open.html
Or copy and paste one of these URLs:
http://b05u31g:1145/tree?token=...
http://127.0.0.1:1145/tree?token=...
代表 jupyter 已经启动成功
现在我们在本地打开命令行窗口，将 xxx.out 中输出的 ssh 命令粘贴进去，进行远程计算节点的端口的转发
ssh -p 18188 -L 1145:b05u37g:1145 username@172.18.6.10
然后打开浏览器，复制 xxx.err 文件中最后一个网址，访问转发到本地的 jupyter 笔记本
http://127.0.0.1:1145/tree?token=...
如果看到 Jupyter 笔记本的界面，表示成功连接，可以在计算节点使用笔记本了
