训练过程显存大小问题？

[ssvicnent]

您好，训练和推理该模型时，默认参数下，显存占用大概是多少呢？

[lewandofskee]

I remeber that 24G of GPU memory might not be enough for training, and that 32G of GPUmemory would be fine for training.

[Karma1628]

您好，配置文件里用的12的batch_size用32GB可训的话，我将batch_size调整到4在24GB的4090上还是显存爆炸了，可以问下这是什么原因么

[hhhJB]

您好，配置文件里用的12的batch_size用32GB可训的话，我将batch_size调整到4在24GB的4090上还是显存爆炸了，可以问下这是什么原因么

metoo

[hhhJB]

您好，配置文件里用的12的batch_size用32GB可训的话，我将batch_size调整到4在24GB的4090上还是显存爆炸了，可以问下这是什么原因么

do you figure it out now ?

[Karma1628]

没有诶，调整到1都会爆炸hha就放弃了

[Karma1628]

@lewandofskee 希望可以回复一下(☆▽☆)

[zengyanjia]

@lewandofskee 希望可以回复一下(☆▽☆)

24G的话如果不改变原来的配置那这是不够，不是batch_size的原因，模型参数太大的问题，如果没有更大的显存，继续用24G的话，只有改优化器了，AdamW改成SGD就不会发成显存爆炸的问题了，但这样会很慢

[Karma1628]

@lewandofskee 希望可以回复一下(☆▽☆)

24G的话如果不改变原来的配置那这是不够，不是batch_size的原因，模型参数太大的问题，如果没有更大的显存，继续用24G的话，只有改优化器了，AdamW改成SGD就不会发成显存爆炸的问题了，但这样会很慢

好的谢谢，没有考虑过优化器的问题，多谢~

[lewandofskee]

Thanks for @zengyanjia comment. Indeed, the issue is not due to batch size but rather the large number of model parameters.

[battle1king]

@lewandofskee 希望可以回复一下(☆▽☆)

24G的话如果不改变原来的配置那这是不够，不是batch_size的原因，模型参数太大的问题，如果没有更大的显存，继续用24G的话，只有改优化器了，AdamW改成SGD就不会发成显存爆炸的问题了，但这样会很慢

想问你们训练起来之前 有没有遇到过这个问题，

zhe'ying这应该是一个数据集出错的问题，是我路径指定的有问题嘛 还是有什么别的地方需要修改。我的数据应该都按照要求排列好了，

Thanks for @zengyanjia comment. Indeed, the issue is not due to batch size but rather the large number of model parameters.

[lewandofskee]

@lewandofskee 希望可以回复一下(☆▽☆)

24G的话如果不改变原来的配置那这是不够，不是batch_size的原因，模型参数太大的问题，如果没有更大的显存，继续用24G的话，只有改优化器了，AdamW改成SGD就不会发成显存爆炸的问题了，但这样会很慢

想问你们训练起来之前 有没有遇到过这个问题， zhe'ying这应该是一个数据集出错的问题，是我路径指定的有问题嘛 还是有什么别的地方需要修改。我的数据应该都按照要求排列好了，

Thanks for @zengyanjia comment. Indeed, the issue is not due to batch size but rather the large number of model parameters.

From your screenshots so far, it's not a problem with the dataset, it's a problem with Clip.

[pluto-8]

@lewandofskee 希望可以回复一下(☆▽☆)

24G的话如果不改变原来的配置那这是不够，不是batch_size的原因，模型参数太大的问题，如果没有更大的显存，继续用24G的话，只有改优化器了，AdamW改成SGD就不会发成显存爆炸的问题了，但这样会很慢

改为SGD得多久训出来啊，训了快200轮了还很差，跑完了1000轮SGD没跑出来，还不如AdamW跑了5轮的