踩坑1:服务器只装了 CUDA Driver 没装 CUDA Toolkit
系统:Ubuntu-18.04 用 deepspeed 跑百亿模型训练时,报关于 CUDA_HOME 的错误。
AssertionError: CUDA_HOME does not exist, unable to compile CUDA op(s)执行 echo $CUDA_HOME 和 nvcc…
报错如下 RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:2! 原因分析
模型的层数过多时,可能有些层被分到了不同的GPU上
解决方案
首先打印看看自己的模型有哪些模块,比如WizardCo…