[Pytorch]关于采用DistributedDataParallel分布式训练时，在每个epoch的前后训练卡顿问题的解决办法

问题描述：如题目

分析：在使用DDP训练时，pytorch采用的_MultiProcessingDataLoaderIter作为Dataloader的迭代对象。在构造迭代器和关闭迭代器时，可能会因为num_workers参数设置的过大而导致每个epoch的在构造Dataloader的花销上比训练本身还大。

在Debug的时候，发现在每个epoch结束时，Dataloader会调用_MultiProcessingDataLoaderIter._shutdown_workers以关闭Dataloader，花销时间特别的长，于是考虑到问题可能出在了Dataloader的num_workers参数上。

最初设置num_workers=16，第一次尝试设置num_workers=0，发现epoch前后的卡顿确实没了，但是读取Data的速度太慢了，后来设置num_workers=6基本上解决了上述问题。

可能也有其他情况导致的，可以参考这篇文章
https://blog.csdn.net/yyywxk/article/details/106323049