实验室常用命令

原创 linux

1. linux 服务器相关

• 查看当前文件夹及其子文件夹的数量: ls -lR | grep -c "^-"
• kill 了任务后显存未释放：ps -ef | grep deepspeed | grep -v grep | awk '{print $2}' | xargs kill -9
• 等待当前程序完成后执行下一个命令: while true; do if ! ps aux | grep adaptvision/train/train_mem.py | grep -v grep > /dev/null; then python gpu.py; break; else echo "continue waiting"; fi; sleep 10; done
• 在当前终端设置代理：proxy=http://192.168.161.156:7890 && export http_proxy=$proxy && export HTTP_PROXY=$proxy && export https_proxy=$proxy && export HTTPS_PROXY=$proxy
• 复制文件到另一个文件夹（排除xx文件）: rsync -av --info=progress2 --exclude='exclude_file1.txt' --exclude='exclude_file2.txt' source_folder destination_folder
• 传文件
  • 复制文件：rsync -av --progress /path/to/source/folder/ /path/to/destination/folder/
  • 本地->A: rsync -av --progress opt-6.7b -e ssh root@192.168.8.16:/data/wangyh/mllms/LLaVA/checkpoints
  • A->本地: rsync -av --progress -e ssh wangyh@192.168.8.16:/data/wangyh/mllms/Dataset/ppt_data/ppt_data_remove_lang.zip .
  • 22->A: rsync -av --progress -e ssh wangyh@211.86.151.115:/home/sist/wangyh/LLaVA_grounding_13b /data/wangyh/mllms/TGDoc_plus
  • A->22: rsync -av --progress /data/wangyh/mllms/MultimodalOCR/data.zip -e ssh wangyh@211.86.151.115:/home/sist/wangyh/dataset
  • 20->A: rsync -av --progress -e ssh wangyh@211.86.151.101:/home/sist/wangyh/Rebuttal /data/wangyh/mllms/TGDoc_plus/Rebuttal
  • A->20: rsync -av --progress Rebuttal_opt_6.7b -e ssh wangyh@211.86.151.101:/home/sist/wangyh
  • 22->本地: rsync -av --progress -e ssh wangyh@211.86.151.115:/home/sist/wangyh/LLaVA_grounding_13b/checkpoints/llava-13b-finetune .
  • 本地->22: rsync -av --progress Monkey -e ssh wangyh@211.86.151.115:/home/sist/wangyh/LLaVA_grounding_13b/checkpoints/llava-13b-finetune
  • 本地->A16 root: rsync -av --progress detail_23k.json -e ssh root@192.168.8.16:/data/wangyh/mllms/TGDoc_plus/MiniGPT-4/data/llava
  • 外网端口：将ssh改为"ssh -p port"
    • 在image文件夹下放入llavar_pretrain文件夹：rsync -av --progress llavar_pretrain -e "ssh -p 36000" root@9.134.131.250:/xxx/dataset/image
• hanhai登陆ip
  • hanhai20: 211.86.151.101、211.86.151.102
  • hanhai22: 211.86.151.113、211.86.151.115
• pip安装添加代理: pip install transformers --proxy="http://192.168.161.200:7890"
• 监控某个程序，运行完以后执行python命令: watch -g ps -opid -p 3662178; python train.py
• 监控某个文件，存在后执行python命令: while [[ ! -f "./checkpoints/llava-7b-pretrain/mm_projector.bin" ]]; do sleep 10; done; echo "File exists and the next command can be executed."; sbatch run.sh

2. slurm管理命令

• 查看所有作业信息: squeue | grep 8A100
• 查看各个结点的状态(idle, mix, alloc, drain, comp, etc): sinfo
  • idle-节点处于空闲状态
  • mix-节点既有作业也有空闲资源
  • alloc-节点所有的资源均被占用
  • drain-出现这个状态时，不影响正在运行的作业，但是不接受新的作业调度，可以使用命令sinfo –R打印节点不正常的状态产生原因
  • down-故障节点不可用
  • comp-节点即将完成当前任务
• 查看节点的分区和qos等: scontrol show partition
• 只看某个分区的状态: scontrol show partition <partition_name>
• 查看用户可使用的qos: sacctmgr show ass
• 取消任务: scancel 任务号
• srun的一些命令参考
  • srun -N 1 -n 8 --pty -p GPU-8A100 --qos gpu_8a100 --gres=gpu:1 bash
  • srun -N 1 -n 8 --pty -p GPU-8A100 --qos gpu_8a100 --nodelist gnode06 --gres=gpu:1 bash
  • srun -N 1 -n 64 --pty -p GPU-8A100 --qos gpu_8a100 --nodelist gnode05 --gres=gpu:8 bash
  • srun -N 1 -n 16 -o job-%j.log -e job-%j.err -p GPU-8A100 --qos gpu_8a100 --gres=gpu:4
  • srun -N 1 -p GPU-A100 --qos qos_a100_gpu --gres=gpu:1 bash
  • hanhai20: srun -N 1 -p GPU-A100-80G --nodelist gnode-a100-6 --qos qos_a100_gpu --gres=gpu:1 bash
• 提交job: sbatch xxx.sh
• 一个基本的job文件

#!/bin/bash
#SBATCH -J job_name # 作业名称，使用squeue看到的作业名
#SBATCH -N 1 -n 32 # 指定node和核心数量
#SBATCH -o job-%j.log # 把输出结果STDOUT保存在哪一个文件
#SBATCH -e job-%j.err # 把报错结果STDERR保存在哪一个文件
#SBATCH -p GPU-8A100 # 提交到哪一个分区，方便快速检索合适节点
#SBATCH --qos gpu_8a100 # 提交到哪一个分区，方便快速检索合适节点
#SBATCH --gres=gpu:8 # 需要使用多少GPU，n是需要的数量

echo "SLURM_JOB_PARTITION=$SLURM_JOB_PARTITION"  # 被分配到的队列名称
echo "SLURM_JOB_NODELIST=$SLURM_JOB_NODELIST"  # 被分配到的节点列表

#SBATCH -t 5-00:00:00 # 运行总时间，天数-小时数-分钟， D-HH:MM
#SBATCH --mem=2000 # 所有核心可以使用的内存池大小，MB为单位
#SBATCH --mail-type=ALL # 发送哪一种email通知：BEGIN,END,FAIL,ALL
#SBATCH --mail-user=netid@nyu.edu # 把通知发送到哪一个邮箱
#SBATCH --constraint=2630v3  # the Features of the nodes, using command " showcluster " could find them.

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:06 pm