[dify] Dify~ ollama 연동

 

https://dify.ai/

Dify.AI · The Innovation Engine for Generative AI Applications

 

Dify

Dify는 오픈 소스 LLMOps 플랫폼으로, 사용자가 AI 애플리케이션을 쉽게 개발하고 운영할 수 있도록 지원합니다. 시각적 워크플로 오케스트레이션을 통해 다양한 AI 모델을 통합하고, RAG 파이프라인 및 에이전트 기능을 제공합니다. 또한, 모델 관리와 모니터링 기능을 통해 프로토타입에서 프로덕션까지의 전환을 신속하게 수행할 수 있습니다. 

 

diffy

 

 dify는 위에 사진과 같이 llm workflow 작성을 도와주는 도구 대시보드 툴입니다. LLM으로 custom 하려는 시도가 많다 보니 다양한 툴들이 등장했는데 dify의 장점은 llm으로 workflow를 만들면 python code로 export 할 수 있는 것입니다. 이 덕에 dify 커뮤니티 참여자도 빠르게 늘어나고 유용한 기능들을 여러 사람들과 공유할 수 있습니다. 

 

 llm의 성능이 좋을 수록 단계 별 output 값의 퀄리티가 좋아 o1-mini, sonnet, gemini와 같은 유료 API를 활용하는 데 달러가 비싸져 주머니 사정이 걱정인 사람들에게 대안이 있습니다. ollama로 로컬에서 model을 구동할 수 있습니다. 

 

 dify를 docker로 올리고 desktop에 올라간 ollama와 연동 해보겠습니다.

 

dify 설치

https://github.com/langgenius/dify 

GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow,

 

git clone https://github.com/langgenius/dify

 

 

 설치된 디렉터리에서 docker compose로 설치

cd dify
cd docker
cp .env.example .env
docker compose up -d

 

 설치와 docker 구성이 완료가 되면 80 port로 올라가 http://localhost/signin에서 관리자 계정을 설정할 수 있습니다.

 

ollama 연동

 desktop ollama가 실행 중 인지 확인합니다. ( 설치 : https://ollama.com/download)

ollama ps # 실행 중인 모델 확인

 

 

 

  dify > setting > model provider에서 라마 아이콘을 찾습니다. 

 

https://docs.dify.ai/tutorials/model-configuration/ollama  

Integrate Local Models Deployed by Ollama | Dify

 

 

 여기서 주의점이 docker로 올라간 dify는 외부의 localhost와 연결하려면 localhost ollama가 아닌 포워딩이 된 port를 사용하거나 docker로 포워딩이 가능한 port를 사용해야 합니다. 공식 문서의 내용과 같이 http://host.docker.internal:11434를 기입해 줍니다. 

 

연결이 완료되면 템플릿을 가져와 테스트할 수 있습니다.