Google VertaxAI Python SDK  gemini tokenizer는 원래 공개되지 않아 token을 계산하려면 API를 사용해야 하는 번거로움이 있었다. 그래서 Google Cloud Community에 질문을 등록했다. 요는 tiktoken과 같이 token 계산을 local로 할 수있게 공개해 달라는 것이었다. token 수를 알 수 없으면 gemini-api를 사용할 때 max_token에 맞게 계속 조정해야 하기 때문에 수 차례 API를 사용해야 한다. 이런 문제를 의식했는지 token 수를 API로 활용할 수 있게 공개했지만 문제는 두 번의 API 사용도 마음에 들지 않았다.   tiktoken으로 OpenAI에서는 tokenizer와 vocab을 공개해 투명하게 API 비용을 청..

“대한민국 법률 전문”을 가지고 OpenAI(ChatGPT), GOOGLE(Gemini), Antropic(Claude), Upstage(Solar)를 대상으로 embedding 후 token 수를 비교하는 실험을 진행 Goal : API로 제공되는 LLM 중 어떤 모델이 한국어 token을 가장 적게 사용하고 비용 저렴한지 비교 Input Text(대한민국헌법 전문, text length=373) 유구한 역사와 전통에 빛나는 우리들 대한국민은 기미 삼일운동으로 대한민국을 건립하여 세계에 선포한 위대한 독립정신을 계승하여 이제 민주독립국가를 재건함에 있어서 정의인도와 동포애로써 민족의 단결을 공고히 하며 모든 사회적 폐습을 타파하고 민주주의제제도를 수립하여 정치, 경제, 사회, 문화의 모든 영역에 있어..

https://github.com/seohyunjun/openAI_API_token GitHub - seohyunjun/openAI_API_token: openAI API token information openAI API token information. Contribute to seohyunjun/openAI_API_token development by creating an account on GitHub. github.com

LLM + Chain Tool Welcome to LangChain — 🦜🔗 LangChain 0.0.175 python.langchain.com 최근 LangChain을 통한 GPT 서드파티 툴이 쏟아지고 있다. LLM 모델을 활용해 자동으로 Tool을 사용하게 만들어 주고 있다. 그 결과 실제로 원하는 사이트 만들기 - Auto-GPT https://youtu.be/gWy-pJ2ofEM?si=f3pADRKEIZMsdhB2 Q&A 지식 기반 검색 Bot 만들기 https://youtu.be/cFCGUjc33aU?si=s7m0nw4MjKzaoQII 다양한 서비스가 LLM 모델을 통해 개발되고 있다. 그러나 우리가 사용 가능한 리소스로는 Meta에서 발표한 LLAMA 모델이나 Open소스로 공개한 data..