[OpenAI] 모델별 지원 중단 예정 날짜, Model deprecations

Model deprecations

 OpenAI와 같이 vectordb를 구축할 수 있게 embedding API를 지원하는 서비스가 많아졌다. 이러한 platform은 일반인들이 보유하기 어려운 GPU 자원을 해소해 주면서 저렴하게 이용할 수 있으나 크나 큰 단점이 있다. legacy model의 지원이 영원하지 않다는 것이다. 예를 들면 내가 모은 자료를 모두 vector화 시켜 vectordb를 구축하고 RAG나 RetrievalQA를 통해 질의를 했는데 잘 나오던 답변이 조금씩 틀어질 수 있다. 그 원인으로 text-embedding-ada-002로 구축해 놓은 embedding vector 값들이 text-embedding-ada-003에서는 유효하지 않아 그렇다. 따라서 이러한 일이 없으려면 text-embedding-ada-002 서비스가 종료되기 전에 v3로 다 migration을 해야 한다. platform을 사용하는 것은 편리하지만 이렇게 버전 업이 빠르게 이루어지면 질수록 오히려 비용과 시간이 많이 소요될 수 있다.

 

https://platform.openai.com/docs/deprecations

embedding model deprecation date

 

 

 한글 embedding 깡패의 text-embedding-ada-002는 아직 지원 중단이 없지만 지원이 중단된다면 여파가 클것으로 보인다.

https://github.com/ssisOneTeam/Korean-Embedding-Model-Performance-Benchmark-for-Retriever. 

GitHub - ssisOneTeam/Korean-Embedding-Model-Performance-Benchmark-for-Retriever: Korean Sentence Embedding Model Performance Ben

 

 

 대안 : Local Embedding Model

Local embedding model이 정말 많지만 한국어 특화, 한국어 전용 모델은 많이 없다. Model hosting site Huggingface에서 sentence-transformers 지원 모델에서 찾아보면 된다. 이 모델 tag가 있는 모델은 langchain, chromadb 등 다양한 모델에서 모델 명만 알면 import, download 가능하다. 

https://huggingface.co/models?library=sentence-transformers

Models - Hugging Face

 

 내가 원하는 모델은 주로 허용 token 수가 길어야하고 coding과 한국어를 잘하는 모델을 주로 찾았다. max_length가 짧으면 허용 문장의 길이를 임의로 잘라줘야 해 전처리에 수고가 많아진다. 번거로움을 줄이기 위해 적당하고 큰 embedding model 이여야 해 bge-m3 Embedding Model을 사용했다. 

 

bge-m3

 중국과학기술대학교에서 발표한 모델로 다국어 100개 이상의 언어를 처리하는 모델 부문에서 SOTA로 소개하고 있다. LLM과 마찬가지로 여러 검증 방식이 있고 지표가 있지만 결과가 개개인마다 느끼는 차이와 오류가 다양해 HumanEval을 직접 수행하지 않는 이상 어느 정도 좋아 졌는지 알 수는 없으나 local로 제공해 주는 것만으로도 감사하고 8192의 max_length까지 커버 가능해 추천한다.

 

MKQA, Multilingual Knowledge Questions & Answers