如何知道一个大模型在推理和训练时需要多少显存？

Рет қаралды 8,020

Күн бұрын

为您介绍一个大模型所需显存的计算工具。通过它，您就可以快速了解一个模型是否可以在自己的显卡上使用了。
#LLM #大模型 #accelerate #estimate-memory #GPU #显存 #Huggingface #transformers #gemma #mistral #qwen

Пікірлер: 17

@techdiylife 5 ай бұрын

视频对应的文档（包含代码，以及详细的说明）：techdiylife.github.io/blog/topic.html?category2=t05&blogid=0031

@inglam 15 күн бұрын

请教一下，为什么一般训练需要的显存是推理的四倍呢？

@techdiylife 9 күн бұрын

训练时除了参数还需要额外存储梯度，以及优化器的状态。

@zcz1595 5 ай бұрын

能请教一下M2芯片统一内存架构32GB的Mac book pro在本地部署LLM方面大概能相当于多少GB的独立显存吗？

@techdiylife 5 ай бұрын

应该与Windows一样，内存作为共享显存。可以理解为32G 减去其他程序占用的内存

@zcz1595 5 ай бұрын

@@techdiylife 谢谢回复，听up这么一说感觉好像我的mac又行了

@abner7502 4 ай бұрын

@@techdiylife win下面，假如我电脑上的显卡就4GB显存，如果离线模型超过4GB大小，是不是我就不能用GPU来加速了，只能用CPU？

@clarinetlatoya 4 ай бұрын

@@abner7502 爆显存了

@taurusduan9715 3 ай бұрын

@@abner7502 可以，通常win10情况下可以使用3.8GB的显存+内存。只要你的内存够大，可以使用20gb的模型，超过这个体量可能会没有意义。

@user-wz3dp5ej5k 2 ай бұрын

请问本地安装和网页不同，则选择哪种呢

@RiverDong 4 ай бұрын

这个测试的是Batch size=1的情况？

@user-ed6rh4es5m 2 ай бұрын

你好，请问为什么int8和int4的Training using Adam 给的数据是N/A

@techdiylife 2 ай бұрын

你要使用量化模型进行训练吗？量化模型训练需要一些特殊的处理。可以去网上找找参考代码。

@Sawyer0823 4 ай бұрын

想請問mistral large需要多少的記憶體大小? 4x H100 80GB?

@techdiylife 4 ай бұрын

Mistral large不开源，参数量好像都没有公布，没法知道它到底需要多少资源。开源模型，你可以使用这个工具大体来判断：huggingface.co/spaces/hf-accelerate/model-memory-usage 这里有我做到一些对比： techdiylife.github.io/blog/blog.html?category1=c02&blogid=0031

@yushengyang2 5 ай бұрын

能否提供連係方式？

@techdiylife 5 ай бұрын

感兴趣的话可以加入下面的微信交流群，两个群主题不一样： AI共学会：LLM部署实战交流 techdiylife.github.io/blog/blog.html?category1=c05&blogid=0032 AI共学会：Transformers开发百问（最新建立） techdiylife.github.io/blog/blog.html?category1=c05&blogid=0035