http://127.0.0.1:53081/user/admin/api didn't respond in 30 seconds[E 2024-08-14 08:09:37.628 JupyterHub gen:629] Exception in Future .finish_user_spawn() done, defined at /usr/local/lib/python3.10/dist-packages/jupyterhub/handlers/base.py:1115> exception=TimeoutError("Server at http://127.0.0.1:53081/user/admin/api didn't respond in 30 seconds")> after timeout Traceback (most recent call last..

Google VertaxAI Python SDK  gemini tokenizer는 원래 공개되지 않아 token을 계산하려면 API를 사용해야 하는 번거로움이 있었다. 그래서 Google Cloud Community에 질문을 등록했다. 요는 tiktoken과 같이 token 계산을 local로 할 수있게 공개해 달라는 것이었다. token 수를 알 수 없으면 gemini-api를 사용할 때 max_token에 맞게 계속 조정해야 하기 때문에 수 차례 API를 사용해야 한다. 이런 문제를 의식했는지 token 수를 API로 활용할 수 있게 공개했지만 문제는 두 번의 API 사용도 마음에 들지 않았다.   tiktoken으로 OpenAI에서는 tokenizer와 vocab을 공개해 투명하게 API 비용을 청..

Ollama + Langchain Local llm의 성능이 나날이 좋아지며 이제는 8b이상의 모델 정도면 한국어 instruction이 잘되어 CoT를 할 수 있게 되었다. 간단한 예제를 통해 이리로 저리로 튀던 LLM을 어떻게 제어하는 지 알아보자.    1.  Ollama cpp 모델 중 최근에 공개된 Gemma2 사용 gemma2 모델 중 기본 모델은 9b 모델로 google에서 만든 gemma의 버전 2인 open source llm이다. 한국어도 잘해서 몇 안되는  한국어 오픈 Foundation 모델이다. google 모델의 특징이 Markdown으로 output을 받아 원하는 형태로 더 넓게 가공해 받을 수있다.   from langchain_community.llms import O..

Model deprecations OpenAI와 같이 vectordb를 구축할 수 있게 embedding API를 지원하는 서비스가 많아졌다. 이러한 platform은 일반인들이 보유하기 어려운 GPU 자원을 해소해 주면서 저렴하게 이용할 수 있으나 크나 큰 단점이 있다. legacy model의 지원이 영원하지 않다는 것이다. 예를 들면 내가 모은 자료를 모두 vector화 시켜 vectordb를 구축하고 RAG나 RetrievalQA를 통해 질의를 했는데 잘 나오던 답변이 조금씩 틀어질 수 있다. 그 원인으로 text-embedding-ada-002로 구축해 놓은 embedding vector 값들이 text-embedding-ada-003에서는 유효하지 않아 그렇다. 따라서 이러한 일이 없으려면 t..

ERD 공유 마스터https://www.erdcloud.com/ ERDCloudDraw ERD with your team members. All states are shared in real time. And it's FREE. Database modeling tool.www.erdcloud.com ERDCloud를 이용하면 현재 사용되는 유명 플랫폼의 아키텍처를 간접적으로 확인할 수 있다. 실제로 유효한 작업인지는 모르나 오픈으로 공유된 ERD 소스들이 상당히 많다. 이렇게 작성된 ERD를 draw.io로 가져와 일을 자동화 시켜보자.  위의 예시는 배달의 민족 ERD 예시이다. 유효한지는 모르나 ERD 템플릿으로 사용하기 좋다. 우측하단의내보내기 > SQL 다운로드로 sql 문을 가져와 바로 DB에..

L3: Multi-agent Custormer Support AutomationMulti-agent를 활용한 고객 지원 자동화 시스템 Role PlayingFocusToolsCooperationGuardrailsMemory 필수 패키지 설치!pip install crewai==0.28.8 crewai_tools==0.1.6 langchain_community==0.0.29 In [44]:# 간단한 warning 출력 무시import warningswarnings.filterwarnings(action='ignore')In [45]:# crewai 라이브러리 importfrom crewai import Agent, Task, CrewIn [46]:# utils.py# Add your utilities or..

Key elements of AI agentRole Playingrole에 따라 agent의 응답이 달라짐Tesla의 주가를 분석해 달라고 요청해보자.1. give me an analysis on tesla stock.더보기As of May 2024, Tesla's stock (TSLA) is facing a complex landscape with both significant challenges and potential opportunities.Current Performance and Outlook:Tesla's stock is currently trading around $177, having experienced a decline of approximately 31% year-to-date​ (..

Multi AI Agent System with crewAICrewAI Framework를 통해 Multi-Agent 생성하고 다중 Task를 Agent들과 상호 연계해 목표에 가까운 답을 구한다. 2. AI Agents(1) Agents 역할 agent가 task를 수행하고, 그 결과를 answer로 반환한다. 결과가 제대로 되지 않을 때 agent는 다시 task를 수행할 수 있다.  Agent의 구성요소로 Tools가 있다. 다른 프레임워크에서는 SKU 또는 function이라는 용어를 사용한다.Tools는 agent가 수행할 수 있는 task를 정의한다. 이를 통해 API, data 접근 등 다양한 기능을 사용할 수 있다.Langchain에서 사용하는 Tool의 역할과 같고 crewAI에서는 T..