Google VertaxAI Python SDK  gemini tokenizer는 원래 공개되지 않아 token을 계산하려면 API를 사용해야 하는 번거로움이 있었다. 그래서 Google Cloud Community에 질문을 등록했다. 요는 tiktoken과 같이 token 계산을 local로 할 수있게 공개해 달라는 것이었다. token 수를 알 수 없으면 gemini-api를 사용할 때 max_token에 맞게 계속 조정해야 하기 때문에 수 차례 API를 사용해야 한다. 이런 문제를 의식했는지 token 수를 API로 활용할 수 있게 공개했지만 문제는 두 번의 API 사용도 마음에 들지 않았다.   tiktoken으로 OpenAI에서는 tokenizer와 vocab을 공개해 투명하게 API 비용을 청..

Model deprecations OpenAI와 같이 vectordb를 구축할 수 있게 embedding API를 지원하는 서비스가 많아졌다. 이러한 platform은 일반인들이 보유하기 어려운 GPU 자원을 해소해 주면서 저렴하게 이용할 수 있으나 크나 큰 단점이 있다. legacy model의 지원이 영원하지 않다는 것이다. 예를 들면 내가 모은 자료를 모두 vector화 시켜 vectordb를 구축하고 RAG나 RetrievalQA를 통해 질의를 했는데 잘 나오던 답변이 조금씩 틀어질 수 있다. 그 원인으로 text-embedding-ada-002로 구축해 놓은 embedding vector 값들이 text-embedding-ada-003에서는 유효하지 않아 그렇다. 따라서 이러한 일이 없으려면 t..

https://www.youtube.com/live/U9mJuUkhUzk?si=kexb8r5aavuJGq6A OpenAI의 발표가 Apple 제품 출시만큼 기다려지는 게 미래를 바꿀 기업 중 하나이지 않을까라는 사람들의 기대감이 있는 거같다. 그에 맞춰 Langchain으로 llm을 엮어 Agent를 만드는 시도의 프로젝트를 상업화하려는 기업들이 많이 등장하고 있는 이시점에 그들에게 벼락을 내리쳤다. 그것은 바로 ,, 가격인하와 더욱 강력해진 API... 첫 번째 컨퍼런스인 OpenAI 개발자 컨퍼런스에서 발표된 주요 새 기능과 업데이트를 공유하게 되어 기쁘게 생각합니다. 자세한 내용은 블로그에서 확인하시거나, 기조연설 녹화본을 보시거나, 새로운 @OpenAIDevs 트위터에서 확인하실 수 있지만, 여기..

https://github.com/seohyunjun/openAI_API_token GitHub - seohyunjun/openAI_API_token: openAI API token information openAI API token information. Contribute to seohyunjun/openAI_API_token development by creating an account on GitHub. github.com

LLM + Chain Tool Welcome to LangChain — 🦜🔗 LangChain 0.0.175 python.langchain.com 최근 LangChain을 통한 GPT 서드파티 툴이 쏟아지고 있다. LLM 모델을 활용해 자동으로 Tool을 사용하게 만들어 주고 있다. 그 결과 실제로 원하는 사이트 만들기 - Auto-GPT https://youtu.be/gWy-pJ2ofEM?si=f3pADRKEIZMsdhB2 Q&A 지식 기반 검색 Bot 만들기 https://youtu.be/cFCGUjc33aU?si=s7m0nw4MjKzaoQII 다양한 서비스가 LLM 모델을 통해 개발되고 있다. 그러나 우리가 사용 가능한 리소스로는 Meta에서 발표한 LLAMA 모델이나 Open소스로 공개한 data..

ChatGPT Prompt Engineering for Developers What you’ll learn in this course In ChatGPT Prompt Engineering for Developers, you will learn how to use a large language model (LLM) to quickly build new and powerful applications. Using the OpenAI API, you’ll... www.deeplearning.ai ChatGPT Prompt Engineering for Developers 7 - Chatbot 정리 Setup import openai def get_completion(prompt, model="gpt-3.5-tur..

https://github.com/openai/whisper GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Robust Speech Recognition via Large-Scale Weak Supervision - GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision github.com Paper Review Abstract & Introduction 680,000 시간의 다국어 학습을 진행 시 fine-tuning 없이 zero-shot transfer benchmark 수준의 결과를 얻을 수 있다. ..

https://github.com/seohyunjun/ChatGPT-IOS-ShortCut/blob/main/README.md GitHub - seohyunjun/ChatGPT-IOS-ShortCut: This is Ios Shortcutfile. using ChatGPT API (require your own OpenAI API-KEY) This is Ios Shortcutfile. using ChatGPT API (require your own OpenAI API-KEY) - GitHub - seohyunjun/ChatGPT-IOS-ShortCut: This is Ios Shortcutfile. using ChatGPT API (require your own OpenAI API-KEY) github...