“대한민국 법률 전문”을 가지고 OpenAI(ChatGPT), GOOGLE(Gemini), Antropic(Claude), Upstage(Solar)를 대상으로 embedding 후 token 수를 비교하는 실험을 진행 Goal : API로 제공되는 LLM 중 어떤 모델이 한국어 token을 가장 적게 사용하고 비용 저렴한지 비교 Input Text(대한민국헌법 전문, text length=373) 유구한 역사와 전통에 빛나는 우리들 대한국민은 기미 삼일운동으로 대한민국을 건립하여 세계에 선포한 위대한 독립정신을 계승하여 이제 민주독립국가를 재건함에 있어서 정의인도와 동포애로써 민족의 단결을 공고히 하며 모든 사회적 폐습을 타파하고 민주주의제제도를 수립하여 정치, 경제, 사회, 문화의 모든 영역에 있어..

Google Bard = Gemini - pro google gemini 라인업(2023.12.6)이 공개된지 벌써 2달이 넘어가지만 API며 사용자를 찾기 어렵다. 그만큼 OpenAI, Open source LLM이 사람들의 관심이 쏠려 있는데 Gemini-pro, 그것도 GPT-3 혹은 GPT-3.5에 준하는 모델이 무료 API로 사용이 가능한데 안 쓸 이유가 없다. (단, 데이터 학습 재사용 허용) 제공 API Spec. https://ai.google.dev/models/gemini?hl=ko Gemini 모델 | Google AI for Developers 이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 Gemini 모델 컬렉션을 사용해 정리하기 내 환..

https://github.com/seohyunjun/openAI_API_token GitHub - seohyunjun/openAI_API_token: openAI API token information openAI API token information. Contribute to seohyunjun/openAI_API_token development by creating an account on GitHub. github.com

LangChain No using OpenAI API (1) QA를 위한 Document 불러오기 # Load and process the text files # loader = TextLoader("./data/texts") loader = DirectoryLoader('./pdf/', glob="./*.pdf", loader_cls=PyPDFLoader) documents = loader.load() # Document 분절 text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) texts = text_splitter.split_documents(documents) (2) Embedding # HuggingF..

LLM + Chain Tool Welcome to LangChain — 🦜🔗 LangChain 0.0.175 python.langchain.com 최근 LangChain을 통한 GPT 서드파티 툴이 쏟아지고 있다. LLM 모델을 활용해 자동으로 Tool을 사용하게 만들어 주고 있다. 그 결과 실제로 원하는 사이트 만들기 - Auto-GPT https://youtu.be/gWy-pJ2ofEM?si=f3pADRKEIZMsdhB2 Q&A 지식 기반 검색 Bot 만들기 https://youtu.be/cFCGUjc33aU?si=s7m0nw4MjKzaoQII 다양한 서비스가 LLM 모델을 통해 개발되고 있다. 그러나 우리가 사용 가능한 리소스로는 Meta에서 발표한 LLAMA 모델이나 Open소스로 공개한 data..