Whisper

git clone https://github.com/huggingface/candle.git Candle 이란? Candle은 성능(GPU 지원)과 사용 편의성에 중점을 둔 rust 용 Minimalist ML 프레임워크입니다. whisper, LLaMA2, T5, yolo, Segment Anything을 한번에 불러와 사용할 수 있고 huggingface의 다양한 모델을 지원합니다. Kakaobot에 사용할 Stable Diffusion 사용 예시 설치 방법 1) Candle은 Rust를 사용하므로 rust package 관리자인 Cargo를 설치해준다. curl https://sh.rustup.rs -sSf | sh # env enroll source "$HOME/.cargo/env" rustc ..

https://arxiv.org/abs/2212.04356 Robust Speech Recognition via Large-Scale Weak Supervision We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard arxiv.org Robust Speech Recognition via Large-Sca..

https://github.com/ggerganov/whisper.cpp GitHub - ggerganov/whisper.cpp: Port of OpenAI's Whisper model in C/C++ Port of OpenAI's Whisper model in C/C++. Contribute to ggerganov/whisper.cpp development by creating an account on GitHub. github.com M1 Install 1 . git clone으로 최신 버전으로 설치할 경우 M1에서 .o architecture error 발생으로 [stable version]을 다운로드 한다. https://github.com/ggerganov/whisper.cpp/releases/..

https://bnmy6581.tistory.com/133 --(1) [Whisper] Robust Speech Recognition via Large-Scale Weak Supervision - (1) bnmy6581.tistory.com https://bnmy6581.tistory.com/134 --(2) [Whisper] Robust Speech Recognition via Large-Scale Weak Supervision - (1) bnmy6581.tistory.com https://bnmy6581.tistory.com/135--(3) [Whisper] Robust Speech Recognition via Large-Scale Weak Supervision - (1) bnmy6581.tistor..

https://bnmy6581.tistory.com/133 --(1) [Whisper] Robust Speech Recognition via Large-Scale Weak Supervision - (1) bnmy6581.tistory.com https://bnmy6581.tistory.com/134 --(2) [Whisper] Robust Speech Recognition via Large-Scale Weak Supervision - (2) https://bnmy6581.tistory.com/133 --(1) [Whisper] Robust Speech Recognition via Large-Scale Weak Supervision - (1) bnmy6581.tistory.com https://arxiv...

Robust Speech Recognition via Large-Scale Weak Supervision *large model은 2023.1 large-v2와 동일하게 바뀜 KsponSpeech 데이터는 짧은 발화의 audio를 주로 구성되어있다. Whisper는 99개의 토큰으로 처음 발화에 대한 언어 예측(language identification)을 수행한다. 하지만 너무 짧은 발화 같은 경우 whisper가 다른 언어로 예측해 translate 자체가 틀려버려 CER이 증가하는 것을 볼 수 있다. language Configure을 korean으로 설정하면 language identification을 수행하지 않고 바로 transcript로 예측해 더 좋은 성과가 났다. model size는 예..

https://github.com/openai/whisper GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Robust Speech Recognition via Large-Scale Weak Supervision - GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision github.com Paper Review Abstract & Introduction 680,000 시간의 다국어 학습을 진행 시 fine-tuning 없이 zero-shot transfer benchmark 수준의 결과를 얻을 수 있다. ..