用v100单机多卡训练，都跑到同一张卡上了

[dahu1]

使用v100来多卡训练，发现分配gpu都分配到同一张卡了，这个要如何处理，之前使用2080和3090训练，都没遇到过这种情况。

机器信息：
镜像 nvidia/cuda:11.7.1-devel-ubuntu20.04
python3.8
torch==1.13.0+cu117
torchaudio==0.13.0

[robin1001]

@yuekaizhang 碰到过吗？

[dahu1]

补充一下git commit : 9804821

[MrSupW]

@dahu1 你好，请问这个问题有解决方式吗？我今天也遇到这个情况了。

[ziyu123]

在 model.cuda() 之前 添加 torch.cuda.set_device(args.rank)，我的已经解决了

[MrSupW]

@ziyu123 感谢！我这里也正常了

[dahu1]

在 model.cuda() 之前 添加 torch.cuda.set_device(args.rank)，我的已经解决了

感谢

[robin1001]

或者可以拉最新的代码，使用 torchrun 跑并行训练，见 https://github.com/wenet-e2e/wenet/pull/2020。