首先确保宿主机正常安装了显卡驱动
nvidia-smi 打印显卡信息如下:

安装nvidia-container-toolkit工具
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkitsudo systemctl restart docker 运行如下命令测试显卡是否在容器内可用
docker run --rm --gpus all nvidia/cuda:11.3.1-base-ubuntu18.04 nvidia-smi 正常情况下会打印显卡信息,说明已经可以使用了。

问题
1.提示Failed to initialize NVML: Unknown Error
可以尝试编辑配置文件:
sudo vim /etc/nvidia-container-runtime/config.toml 将[nvidia-container-cli]的no-cgroups = true改为false
保存,重启docker
sudo systemctl restart docker 此时再次使用临时容器测试是否可用。