[Huggingface] Model Memory Calculator, GPU 얼마면 되니?

Model Memory Calculator, GPU 얼마면 되니?

 

 llama3, gemma2, florence 등 llama1(2023.2.24)이 나온 지 벌써 1년이 넘어가는데 아직 오픈 llm의 인기는 식을 줄 모르고 있다. 아니 더 인기가 늘고 있다. 학습 파이프라인은 더욱 쉽고 견고해지고 모델 inference는 더욱 리소스 속도 다 발달하고 있다. 그런고로 나의 리소스에 맞는 모델은 무엇이고 최대치로 돌릴 수 있는 것들이 궁금할 것이다.

 

 먼저 2b, 7b, 9b이 숫자에 대해 간단히 설명하면 모델이 학습한 parameter의 수이다. 간단히 이야기하면 모델이 표현할 수있는 경우의 수가 이만큼 많다는 것이다. 과거 BERT 모델의 단위가 3M, 5M 백만 단위라면 지금은 수십억 단위로 넘어왔다. 이렇게 늘어 남에 따라 요구되는 GPU의 크기 또한 증가했다. 희망적인 소식은 gguf로 학습된 모델을 메타데이터로 변환시켜 추론 타입의 크기와 속도를 개선시켰다. 처음 gguf는 원모델과 다르게 성능을 보장 못했지만 이 또한 모델 크기가 커지면서 커버 가능하고 safetensor로 더 안정적이게 inference 환경을 구축할 수 있게 되었다. 이전에 소개한 Ollama에서 사용하는 모델이 다 gguf 모델이다. 

https://bnmy6581.tistory.com/334

[Ollama] Response Structure Answer

 

 

허깅 페이스 모델 사이즈 계산기 

 

Huggingface model calculator

 

 

 허깅 페이스 모델을 사용하면 gguf가 아닌 원 모델을 학습하는데 필요한 최소 GPU와 학습하는데 필요한 GRAM을 계산 할 수 있다. 모델 이름과 버전을 입력하면 계산이 된다.  (gemma2는 구글 동의가 필요해 사용자 학습 모델을 사용했다. 사이즈 동일)

 

 

Usage Inference

 위 표를 보면 원 모델을 사용하려면 최소 9.34G의 GPU RAM이 필요하다. 가장 안정적인 학습 환경의 경우 최대치로 보고 결정하면 되지만 학습해야 할 데이터가 많다면 타입을 낮추고 더 큰 파라미터의 모델을 선택하면 된다. 예를 들면 24GB의 GPU가 있다면 float16으로 2B모델을 학습시키면 된다. 모델이 작을수록 (2b, 4b) gguf의 성능도 많이 낮아 원 모델을 채택하는 경우가 많다.

 

 gguf 모델의 경우 2b -> 1.14g, 14b -> 7.9g 절반으로 모델 사용 리소스가 줄어 사용만하는데는 gguf가 적당하다. 한국어 모델도 최근 많은 사람들이 gguf화해서 모델을 공개해 가져다 사용할 수 있다. 자신만의 LLM을 만들어 보는 것도 추천한다! 지금이 그나마 학습할 수 있는 크기의 모델이지 나중에는 따라갈 수 조차 없는 모델들이 주를 이룰 것이다.