Model Memory Calculator, GPU 얼마면 되니?  llama3, gemma2, florence 등 llama1(2023.2.24)이 나온 지 벌써 1년이 넘어가는데 아직 오픈 llm의 인기는 식을 줄 모르고 있다. 아니 더 인기가 늘고 있다. 학습 파이프라인은 더욱 쉽고 견고해지고 모델 inference는 더욱 리소스 속도 다 발달하고 있다. 그런고로 나의 리소스에 맞는 모델은 무엇이고 최대치로 돌릴 수 있는 것들이 궁금할 것이다.  먼저 2b, 7b, 9b이 숫자에 대해 간단히 설명하면 모델이 학습한 parameter의 수이다. 간단히 이야기하면 모델이 표현할 수있는 경우의 수가 이만큼 많다는 것이다. 과거 BERT 모델의 단위가 3M, 5M 백만 단위라면 지금은 수십억 단위로 넘어왔..

Ollama + Langchain Local llm의 성능이 나날이 좋아지며 이제는 8b이상의 모델 정도면 한국어 instruction이 잘되어 CoT를 할 수 있게 되었다. 간단한 예제를 통해 이리로 저리로 튀던 LLM을 어떻게 제어하는 지 알아보자.    1.  Ollama cpp 모델 중 최근에 공개된 Gemma2 사용 gemma2 모델 중 기본 모델은 9b 모델로 google에서 만든 gemma의 버전 2인 open source llm이다. 한국어도 잘해서 몇 안되는  한국어 오픈 Foundation 모델이다. google 모델의 특징이 Markdown으로 output을 받아 원하는 형태로 더 넓게 가공해 받을 수있다.   from langchain_community.llms import O..

L3: Multi-agent Custormer Support AutomationMulti-agent를 활용한 고객 지원 자동화 시스템 Role PlayingFocusToolsCooperationGuardrailsMemory 필수 패키지 설치!pip install crewai==0.28.8 crewai_tools==0.1.6 langchain_community==0.0.29 In [44]:# 간단한 warning 출력 무시import warningswarnings.filterwarnings(action='ignore')In [45]:# crewai 라이브러리 importfrom crewai import Agent, Task, CrewIn [46]:# utils.py# Add your utilities or..

Key elements of AI agentRole Playingrole에 따라 agent의 응답이 달라짐Tesla의 주가를 분석해 달라고 요청해보자.1. give me an analysis on tesla stock.더보기As of May 2024, Tesla's stock (TSLA) is facing a complex landscape with both significant challenges and potential opportunities.Current Performance and Outlook:Tesla's stock is currently trading around $177, having experienced a decline of approximately 31% year-to-date​ (..

“대한민국 법률 전문”을 가지고 OpenAI(ChatGPT), GOOGLE(Gemini), Antropic(Claude), Upstage(Solar)를 대상으로 embedding 후 token 수를 비교하는 실험을 진행 Goal : API로 제공되는 LLM 중 어떤 모델이 한국어 token을 가장 적게 사용하고 비용 저렴한지 비교 Input Text(대한민국헌법 전문, text length=373) 유구한 역사와 전통에 빛나는 우리들 대한국민은 기미 삼일운동으로 대한민국을 건립하여 세계에 선포한 위대한 독립정신을 계승하여 이제 민주독립국가를 재건함에 있어서 정의인도와 동포애로써 민족의 단결을 공고히 하며 모든 사회적 폐습을 타파하고 민주주의제제도를 수립하여 정치, 경제, 사회, 문화의 모든 영역에 있어..

LLM02:2023 데이터 유출 설명: 데이터 유출은 LLM이 응답을 통해 실수로 민감한 정보, 독점 알고리즘 또는 기타 기밀 세부 정보를 누출하는 경우 발생합니다. 이로 인해 민감한 데이터 또는 지적 재산에 대한 무단 액세스, 개인 정보 침해 및 기타 보안 위반이 발생할 수 있습니다. 일반적인 데이터 유출 취약점: LLM의 응답에서 민감한 정보를 불완전하거나 부적절하게 필터링하는 경우. LLM의 훈련 과정에서 민감한 데이터를 오버피팅하거나 메모리제이션하는 경우. LLM의 오해 또는 오류로 인해 기밀 정보가 무단으로 공개되는 경우. 예방 방법: LLM이 민감한 정보를 누출하지 않도록 엄격한 출력 필터링 및 문맥 인식 메커니즘을 구현합니다. LLM의 훈련 과정에서 차등 개인 정보 보호 기법이나 기타 데이터..

LangChain No using OpenAI API (1) QA를 위한 Document 불러오기 # Load and process the text files # loader = TextLoader("./data/texts") loader = DirectoryLoader('./pdf/', glob="./*.pdf", loader_cls=PyPDFLoader) documents = loader.load() # Document 분절 text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) texts = text_splitter.split_documents(documents) (2) Embedding # HuggingF..