Model Memory Calculator, GPU 얼마면 되니?  llama3, gemma2, florence 등 llama1(2023.2.24)이 나온 지 벌써 1년이 넘어가는데 아직 오픈 llm의 인기는 식을 줄 모르고 있다. 아니 더 인기가 늘고 있다. 학습 파이프라인은 더욱 쉽고 견고해지고 모델 inference는 더욱 리소스 속도 다 발달하고 있다. 그런고로 나의 리소스에 맞는 모델은 무엇이고 최대치로 돌릴 수 있는 것들이 궁금할 것이다.  먼저 2b, 7b, 9b이 숫자에 대해 간단히 설명하면 모델이 학습한 parameter의 수이다. 간단히 이야기하면 모델이 표현할 수있는 경우의 수가 이만큼 많다는 것이다. 과거 BERT 모델의 단위가 3M, 5M 백만 단위라면 지금은 수십억 단위로 넘어왔..