Huggingface 多机多卡训练

nlp huggingface

运行一下脚本获取 hostfile

import os

node_ip_list = os.environ["NODE_IP_LIST"].split(',')
gpu_per_node = int(os.environ["HOST_GPU_NUM"])

with open('hostfile', 'w') as f:
    for node_ip in node_ip_list:
        node_ip = node_ip.split(":")[0]
        f.write("{} slots={}".format(node_ip, gpu_per_node))
        f.write(os.linesep)

在 main 节点使用 deepspeed 命令时加入 hostfile 参数即可

echo $CHIEF_IP
deepspeed --master_addr=$CHIEF_IP \
    --hostfile xxx/hostfile xxx.py \
    --deepspeed ./scripts/zero2.json \
    xxx

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm