[Candle] huggingface Candle

git clone https://github.com/huggingface/candle.git

Candle 이란? 

Candle은 성능(GPU 지원)과 사용 편의성에 중점을 둔 rust 용 Minimalist ML 프레임워크입니다. whisper, LLaMA2, T5, yolo, Segment Anything을 한번에 불러와 사용할 수 있고 huggingface의 다양한 모델을 지원합니다. 

 

Kakaobot에 사용할 Stable Diffusion 사용 예시

설치 방법 

1) Candle은 Rust를 사용하므로 rust package 관리자인 Cargo를 설치해준다.

curl https://sh.rustup.rs -sSf | sh

# env enroll
source "$HOME/.cargo/env"

rustc --version # rustc 1.75.0 (82e1608df 2023-12-21)

# make도 사용
make --version
# GNU Make 4.2.1
# Built for x86_64-pc-linux-gnu

https://doc.rust-lang.org/cargo/getting-started/installation.html 

Installation - The Cargo Book

2-1) git clone 

git clone https://github.com/huggingface/candle.git

cd candle

 

2-2) candle  install 

# cargo env set 
cargo new myapp
cd myapp

# cuda version candle-core 설치 [CUDA 버전]
cargo add --git https://github.com/huggingface/candle.git candle-core --features "cuda"

 

error: unrecognized feature for crate candle-core: cuda 에러시 

cargo add --features candle-core/cuda --git https://github.com/huggingface/candle.git candle-core

# https://github.com/huggingface/candle/issues/1497

 

makefile 복사

 

https://huggingface.github.io/candle/guide/installation.html

Installation - Candle Documentation

 

2-3) Package install

cargo run --example whisper --release

 

 

 

https://github.com/huggingface/candle/tree/main/candle-examples/examples/whisper

 

Whisper, vit, t5 등 등 유명한 model은 candle하나로 다 손쉽게 설치가 가능하다. 또한 quantized 모델도 지원