[OpenAI-GPT] LangChain 효율적인 Token 관리

LLM + Chain Tool 

Welcome to LangChain — 🦜🔗 LangChain 0.0.175

 

 최근 LangChain을 통한 GPT 서드파티 툴이 쏟아지고 있다. LLM 모델을 활용해 자동으로 Tool을 사용하게 만들어 주고 있다.

 

그 결과 실제로 원하는 사이트 만들기 - Auto-GPT

https://youtu.be/gWy-pJ2ofEM?si=f3pADRKEIZMsdhB2

 

 

Q&A 지식 기반 검색 Bot 만들기 

https://youtu.be/cFCGUjc33aU?si=s7m0nw4MjKzaoQII

 

 

다양한 서비스가 LLM 모델을 통해 개발되고 있다. 

 

그러나 우리가 사용 가능한 리소스로는 Meta에서 발표한 LLAMA 모델이나 Open소스로  공개한  databricks의 dolly를 활용해서 서비스를 구축해야하는데 학습 비용만 수백만원에 모델을 만들었다고해도 사용하려면 고스펙 GPU를 요구한다. 결국은 OpenAI의 API를 활용하는 수 밖에 없다.

 

OpenAI API 토큰 효율적으로 관리하기

 우리가 사용하는 ChatGPT의 서비스는 Chat 형태의 질문 query를 수행하므로 문장 형태의 질의를 보내야한다. 같은 Task를 제차 정의를하고 질문을 해야하므로 이 경우 토큰이 상당히 많이 소요된다.(ChatGPT, $0.002 / 1K tokens) Token은 곧 돈이며 1000개의 토큰에 2원이라고 무시할 수 없다. 또한 한국어 전용 LLM 모델이 아니라 Tokenize시 더 많은 누수가 발생한다.

 

https://devocean.sk.com/blog/techBoardDetail.do?ID=164758&boardType=techBlog 

ChatGPT가 한국어도 잘하는데 한국어 언어모델을 따로 만들 필요가 있을까

 

  종합하면 토큰을 효율적으로 사용하기 위해서는 단어보다 OpenAI의 GPT가 원하는 형태의 embedding vector를 활용해야 같은 질문이더라도 더 짧은 문장으로 일을 처리 할 수 있다. 

 

10가지의 QnA 문서간 유사도를 통해 QnA bot 만들기

 

1 ) OpenAI API 키 등록 & Document 불러오기

import os
import time
import pandas as pd
import openai
import re
import requests
import sys
import numpy as np
from openai.embeddings_utils import get_embedding, cosine_similarity
import tiktoken

openai.api_key = os.getenv("OPENAI_API_KEY") 
openai.organization = os.getenv("OPENAI_ORGANIZATION") 

start_time=time.time()
path ='./QnA/'

########### This helps takes care of removing metadata
search_string = "" 
metadata_counter = 0
############
d = []
text=""

for root, directories, files in os.walk(path , topdown=False):
    for file in files:
        if file.lower().endswith(".txt"):
            name =(os.path.join(root,file))
            f = open(name, "r",encoding="utf-8")
            for line in f:
                text +=line
            f.close()
            d.append({'FILE NAME': file ,'CONTENT': text})
            pd.DataFrame(d)
            metadata_counter = 0
            text=""
end_time = time.time()
duration = end_time - start_time

print ("Script Execution: ", duration)

 

2) 문장 전처리

# input sentence 전처리
def normalize_text(s, sep_token = " \n "):
    s = re.sub(r'\s+',  ' ', s).strip()
    s = re.sub(r". ,","",s)
    # remove all instances of multiple spaces
    s = s.replace("..",".")
    s = s.replace(". .",".")
    s = s.replace("\n", "")
    s = s.replace("#","")
    s = s.strip()
    if s =="":
        s = "<blank>"
    return s
df_normalized=df.copy()
df_normalized['CONTENT'] = df["CONTENT"].apply(lambda x : normalize_text(x))

 

3) Tokenize 

tokenizer = tiktoken.get_encoding("cl100k_base")
df_tok=df_normalized.copy()
df_tok['n_tokens'] = df_normalized["CONTENT"].apply(lambda x: len(tokenizer.encode(x)))
df_tok

 

4) Token 비용 계산 

# Based on https://openai.com/api/pricing/ on 01/29/2023
# If you were using this for approximating pricing with Azure OpenAI adjust the values below with: https://azure.microsoft.com/pricing/details/cognitive-services/openai-service/

#MODEL	USAGE
#Ada     v1	$0.0040 / 1K tokens
#Babbage v1	$0.0050 / 1K tokens
#Curie   v1	$0.0200 / 1K tokens
#Davinci v1	$0.2000 / 1K tokens

#MODEL	USAGE
#Ada     v2	$0.0004 / 1K tokens
#This Ada model, text-embedding-ada-002, is a better and lower cost replacement for our older embedding models. 

n_tokens_sum = df['n_tokens'].sum()

ada_v1_embeddings_cost = (n_tokens_sum/1000) *.0040
babbage_v1_embeddings_cost = (n_tokens_sum/1000) *.0050
curie_v1_embeddings_cost = (n_tokens_sum/1000) *.02
davinci_v1_embeddings_cost = (n_tokens_sum/1000) *.2

ada_v2_embeddings_cost = (n_tokens_sum/1000) *.0004

print("Number of tokens: " + str(n_tokens_sum) + "\n")

print("MODEL        VERSION    COST")
print("-----------------------------------")
print("Ada" + "\t\t" + "v1" + "\t$" + '%.8s' % str(ada_v1_embeddings_cost))
print("Babbage" + "\t\t" + "v1" + "\t$" + '%.8s' % str(babbage_v1_embeddings_cost))
print("Curie" + "\t\t" + "v1" + "\t$" + '%.8s' % str(curie_v1_embeddings_cost))
print("Davinci" + "\t\t" + "v1" + "\t$" + '%.8s' % str(davinci_v1_embeddings_cost))
print("Ada" + "\t\t" + "v2" + "\t$" + '%.8s' %str(ada_v2_embeddings_cost))

 

 Davinci 역시 GPT-3 API로 상당히 고가임을 알 수 있다. 반면 Ada v2는 500배나 저렴하다. 단순 embedding을 활용해 classification을 수행하는 것이라면 Ada-V2를 사용하는 것이 경제적이다. LangChain의 대부분의 서비스가 Ada-v2를 사용한다. 분류를 통한 Task를 정의하고 마지막에 completion Danvinci나 chatGPT를 사용

 

 

Model dimension

 

Ada(1024)

Babbage(2048)

Curie(4096)

Davinci(12288)

 

def generate_embeddings(text, model="text-embedding-ada-002"):
    return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']
 
df['ada_v2_embedding'] = df.CONTENT.apply(lambda x: generate_embeddings(x, model='text-embedding-ada-002'))

len(df['ada_v2_embedding'][1])
# 1536

 

ada_v2의 Output dimension은 1536이다. 768 * 2 일반 Bert 모델에 2배의 embedding size를 사용한다. 

5) Input Text와 유사도를 분석 후 가장 높은 유사도 rank 3을 추출해 보여준다.

 

# search embedded docs based on cosine similarity

df_similarities = df_embeddings.copy()

def get_embedding(text, model="text-embedding-ada-002"):
   return openai.Embedding.create(input = [text], model=model)['data'][0]['embedding']

def search_docs(df, user_query, top_n=3, to_print=True):
    embedding = get_embedding(
        user_query,
        model="text-embedding-ada-002"
    )

    df_similarities["similarities"] = df_embeddings.ada_v2_embedding.apply(lambda x: cosine_similarity(x, embedding))

    res = (
        df_similarities.sort_values("similarities", ascending=False)
        .head(top_n)
    )
    if to_print:
        display(res)
    return res

question = input("무엇을 도와드릴까요?\n\n")

res = search_docs(df, question, top_n=3)

 

 

 

https://github.com/seohyunjun/openAI_API_token/blob/main/openaiAPI_embedding.ipynb

GitHub - seohyunjun/openAI_API_token: openAI API token information