slurm上使用jupyter
学习笔记总结
环境设置与脚本说明
-
创建 conda 环境:
conda create -n jupyter python=3.10 mamba install -y jupyterlab
-
SLURM 脚本 (
start_jupyter.csh
):#!/bin/bash #SBATCH --time=1-00:00:00 # 指定最大作业时间为 1 天 #SBATCH -n 1 # 请求 1 个计算核心 #SBATCH -N 1 # 请求 1 个计算节点 #SBATCH -p Debug # 提交作业到 Debug 分区 #SBATCH -o logs/01-bsr2.%j.log # 将标准输出保存到指定的日志文件 #SBATCH -e logs/01-bsr2.%j.log # 将错误输出也保存到同一日志文件 #SBATCH --mail-type=FAIL,END # 在作业失败或结束时发送邮件通知 #SBATCH --mail-user=@qq.com # 指定邮件接收地址 # 获取隧道信息 XDG_RUNTIME_DIR="" # 清空 XDG 运行时目录环境变量 port=$(shuf -i8000-9999 -n1) # 生成一个随机端口号用于 Jupyter node=$(hostname -s) # 获取当前节点名称 user=$(whoami) # 获取当前用户名 cluster=$(hostname -f | awk -F"." '{print $2}') # 获取集群名称 # 设置 SSH 连接信息 clusterurl="202.205.88.254" # 远程服务器地址 export PATH=$PATH:~/.local/bin # 将本地 bin 目录添加到 PATH # 打印 SSH 隧道连接指令 echo -e " MacOS 或 Linux 终端命令创建 SSH 隧道: ssh -N -L ${port}:${node}:${port} ${user}@${clusterurl} 以下是 MobaXterm 信息: Forwarded port: 与远程端口相同 Remote server: ${node} Remote port: ${port} SSH server: ${cluster}.${clusterurl} SSH login: $user SSH port: 22 在本地浏览器上使用以下 URL 访问: localhost:${port} (使用密码时添加 https:// 前缀) 或从错误文件中复制 token " # 激活环境并启动 Jupyter Notebook source activate jupyter # 激活创建的 Jupyter 环境 jupyter-lab --no-browser --port=${port} --ip=${node} # 在指定端口和 IP 地址上启动 Jupyter Lab,不自动打开浏览器
-
访问 Jupyter:
- 在本地浏览器中使用
localhost:${port}
访问,必要时加上https://
前缀。
- 在本地浏览器中使用
参考https://www.cnblogs.com/cookielbsc/p/12411560.html
https://nscc-neuro.github.io/nest-guide/docs/fqy4b2b061msp8gr/