Files

 master

/

train_multi_GPU

/

Directory actions

More options

Directory actions

More options

Latest commit

 

History

History

 master

/

train_multi_GPU

/

Top

Folders and files

Name		Name	Last commit message	Last commit date
parent directory ..
multi_train_utils		multi_train_utils
runs/Nov07_18-58-35_wz		runs/Nov07_18-58-35_wz
README.md		README.md
accuracy.png		accuracy.png
model.py		model.py
my_dataset.py		my_dataset.py
plot_results.py		plot_results.py
requirements.txt		requirements.txt
syncbn.png		syncbn.png
train_multi_gpu_using_launch.py		train_multi_gpu_using_launch.py
train_multi_gpu_using_spawn.py		train_multi_gpu_using_spawn.py
train_single_gpu.py		train_single_gpu.py
training_time.png		training_time.png
utils.py		utils.py
View all files

README.md

多GPU启动指令

• 如果要使用train_multi_gpu_using_launch.py脚本，使用以下指令启动
• python -m torch.distributed.launch --nproc_per_node=8 --use_env train_multi_gpu_using_launch.py
• 其中nproc_per_node为并行GPU的数量
• 如果要指定使用某几块GPU可使用如下指令，例如使用第1块和第4块GPU进行训练：
• CUDA_VISIBLE_DEVICES=0,3 python -m torch.distributed.launch --nproc_per_node=2 --use_env train_multi_gpu_using_launch.py

---

• 如果要使用train_multi_gpu_using_spawn.py脚本，使用以下指令启动
• python train_multi_gpu_using_spawn.py

训练时间对比

是否使用SyncBatchNorm

单GPU与多GPU训练曲线