slurm初步使用
先使用脚本.sh
1 #!/bin/bash 2 #SBATCH --job-name=test 3 #SBATCH -p amd_256 4 #SBATCH --error=log/%J.err 5 # 作业运行的标准错误输出将写到文件log/[JOB ID].err文件中 6 #SBATCH --output=log/%J.out 7 # 作业运行的标准输出将写到文件log/[JOB ID].out文件中 8 #SBATCH --time=1:00:00 9 10 #### 第一部分：环境配置（可选） #### 11 module load java/1.8.0_221-public3 12 # 1. 使用module指令载入所需的软件环境 # 13 # 2. 配置其他必要的环境变量 # 14 15 #### 第二部分：获取主节点（即编号为0的slurm task）所在机器的Infiniband网卡IP地址 16 17 NETWORK_INTERFACE=ib0 18 master_ip=$(srun --ntasks=1 --nodes=1 bash -c "ip -4 addr show $NETWORK_INTERFACE | grep -oP '(?<=inet ).*(?=/)'") 19 echo "The IP address of the master task is" $master_ip 20 random_port=$(($RANDOM + 10000)) 21 22 #### 第二部分：执行具体的程序 #### 23 ### 使用driver-script.py脚本来具体启动与运行程序，将主进程所在机器的IP地址、一个随机端口号作为启动脚本的参数 24 srun python3 driver-script.py $master_ip $random_port
然后加上.py脚本
1 #!/usr/bin/env python3 2 import os 3 import sys 4 import subprocess 5 import time 6 7 ## 第一部分：获得关键变量（本部分代码不要修改） 8 # 主进程所在机器的IP地址 9 master_ip = sys.argv[1] 10 # 主进程用于监听的一个随机端口号 11 master_port = int(sys.argv[2]) 12 # 当前进程编号 13 proc_id = int(os.environ["SLURM_PROCID"]) 14 # 本次计算参与的总进程数 15 num_proc = int(os.environ["SLURM_NTASKS"]) 16 17 ## 第二部分：启动计算所业（需要修改） 18 19 if proc_id == 0: 20 # 启动主进程 21 print("Start the master process...") 22 # 通过os.system函数调用其他程序，启动主进程(修改这里) 23 #os.system("ls -lh") 24 try: 25 subprocess.run(f"java -cp 1.jar org.example.TotalClient {master_port}", shell=True, stdout=sys.stdout, stderr=sys.stderr) 26 except subprocess.TimeoutExpired: 27 pass 28 print("The main process finishes.") 29 else: 30 # 启动从进程 31 time.sleep(10) # 等待1s，等待主进程启动 32 print("Start the worker process {}...".format(proc_id)) 33 # 通过os.system函数调用其他程序，启动从进程(修改这里) 34 #os.system("ls -lh") 35 subprocess.run(f"java -cp 1.jar org.example.PrimeNumberClient {master_ip} {master_port}", shell=True, stdout=sys.stdout, stderr=sys.stderr) 36 print("The worker process {} finishes.".format(proc_id))
将这两个脚本上传到平台的同一个文件夹，jar包也要放入这个文件（运用sftp parasc进行上传）
再用ssh parasc进入超算平台
进入xiaocai，输入
1 sbatch --nodes=1 --ntasks-per-node=5 文件名.sh 2 cd log 3 cat 任务名.out 4 scancel 人物名
发现没有进行多线程保护
目前可以在Server端实现gRPC的每个方法头添加上synchronized关键字（这个关键字可以保证Server端在同一时间只处理一个Client发来的请求，不会同时并行的处理多个Client发来的请求）。就是public synchronized void signClient...
