海口网站建设专家评价夏邑做网站

@toc

1训练

1.1 进度条

import tqdm as tqdm
for i, data in tqdm(enumerate(train_loader),disable=hvd.rank()):

1.2 多进程通信

多线程通信依靠共享内存实现，但是多进程通信就麻烦很多，因此可以采用mpi库，如果是在python中使用，可以使用pmi4py
参考：Python多进程并行编程实践-mpi4py的使用