RuntimeError: cublas runtime error : the GPU program failed to execute at tmppip-req-build-jh50bw2

RuntimeError: cublas runtime error : the GPU program failed to execute at /tmp/pip-req-build-jh50bw28/aten/src/THC/THCBlas.cu:259

使用 python train.py运行后，项目又慢又报错，大概运行一个小时左右就会出现这样的报错。

问题出在了cuda和torch的版本对应

之前我一直跟着readme的建议，torch=1.1.0 python=3.6
忽略了我的cuda安装的是11.3的。
所以新创建了一个python3.7的环境，并根据官网上面对应版本安装

 conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

再也没有烦心报错了
官网：https://pytorch.org/get-started/locally/