Model Memory Calculator, GPU 얼마면 되니?  llama3, gemma2, florence 등 llama1(2023.2.24)이 나온 지 벌써 1년이 넘어가는데 아직 오픈 llm의 인기는 식을 줄 모르고 있다. 아니 더 인기가 늘고 있다. 학습 파이프라인은 더욱 쉽고 견고해지고 모델 inference는 더욱 리소스 속도 다 발달하고 있다. 그런고로 나의 리소스에 맞는 모델은 무엇이고 최대치로 돌릴 수 있는 것들이 궁금할 것이다.  먼저 2b, 7b, 9b이 숫자에 대해 간단히 설명하면 모델이 학습한 parameter의 수이다. 간단히 이야기하면 모델이 표현할 수있는 경우의 수가 이만큼 많다는 것이다. 과거 BERT 모델의 단위가 3M, 5M 백만 단위라면 지금은 수십억 단위로 넘어왔..

git clone https://github.com/huggingface/candle.git Candle 이란? Candle은 성능(GPU 지원)과 사용 편의성에 중점을 둔 rust 용 Minimalist ML 프레임워크입니다. whisper, LLaMA2, T5, yolo, Segment Anything을 한번에 불러와 사용할 수 있고 huggingface의 다양한 모델을 지원합니다. Kakaobot에 사용할 Stable Diffusion 사용 예시 설치 방법 1) Candle은 Rust를 사용하므로 rust package 관리자인 Cargo를 설치해준다. curl https://sh.rustup.rs -sSf | sh # env enroll source "$HOME/.cargo/env" rustc ..

https://discuss.huggingface.co/t/where-is-the-model-path-on-macos/21376 macOS의 모델 경로는 어디에 있습니까?AutoModelxxx를 사용하여 모델을 다운로드했지만 모델이 저장된 경로를 찾을 수 없습니다. 어디에 있습니까, os 코드로 어떻게 찾을 수 있습니까? discuss.huggingface.co Transformer 다운로드 모델 경로 ~/.cache/huggingface/hub/ ~/.cache/huggingface/hub/ 안쓰는 모델 제거 rm -rf [model]