当前位置:首页 » 《关于电脑》 » 正文

七、训练模型,CPU经常100%,但是GPU使用率才5%左右

18 人参与  2024年03月23日 10:55  分类 : 《关于电脑》  评论

点击全文阅读


现象:
在这里插入图片描述
大概原因:GPU运算完毕后,花费了大量时间在写日志和存储pth文件,所以GPU使用率一直过低,CPU使用率一直很高。

具体原因分析参见【深度学习】踩坑日记:模型训练速度过慢,GPU利用率低

这里直接上解决办法:

减少日志IO操作频率使用pin_memory和num_workers(num_workers调整不合适,会显示内存不够之类的问题,根据实际情况调整)使用半精度训练更好的显卡,更轻的模型增大batch size提高epoch速度,但是收敛速度也会变慢,需要再适当升高学习率

本文解决办法:这里我采用的是调整batch_size,由8调成10(本来想调成16,结果显示GPU内存不够,只能调到10):
在这里插入图片描述


点击全文阅读


本文链接:http://zhangshiyu.com/post/84138.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1