[Ollama] Response Structure Answer

Ollama + Langchain

 Local llm의 성능이 나날이 좋아지며 이제는 8b이상의 모델 정도면 한국어 instruction이 잘되어 CoT를 할 수 있게 되었다. 간단한 예제를 통해 이리로 저리로 튀던 LLM을 어떻게 제어하는 지 알아보자. 

 

Mad llama

 

 

1.  Ollama cpp 모델 중 최근에 공개된 Gemma2 사용

gemma2 ollama

 gemma2 모델 중 기본 모델은 9b 모델로 google에서 만든 gemma의 버전 2인 open source llm이다. 한국어도 잘해서 몇 안되는  한국어 오픈 Foundation 모델이다. google 모델의 특징이 Markdown으로 output을 받아 원하는 형태로 더 넓게 가공해 받을 수있다.  

    from langchain_community.llms import Ollama
    ollama = Ollama(model="gemma2:latest",temperature=0, verbose=True)

 

 

2. Langchain의 BooleanOutputParser

 Langchain의 Outputparser를 통해 Prompt의 답변 Type을 지정할 수 있다. 

 

BooleanOutputParser

class BooleanOutputParser(BaseOutputParser[bool]):
    """Parse the output of an LLM call to a boolean."""

    true_val: str = "YES"
    """The string value that should be parsed as True."""
    false_val: str = "NO"
    """The string value that should be parsed as False."""

    def parse(self, text: str) -> bool:
        """Parse the output of an LLM call to a boolean.

        Args:
            text: output of a language model

        Returns:
            boolean
        """
        regexp = rf"\b({self.true_val}|{self.false_val})\b"

        truthy = {
            val.upper()
            for val in re.findall(regexp, text, flags=re.IGNORECASE | re.MULTILINE)
        }
        if self.true_val.upper() in truthy:
            if self.false_val.upper() in truthy:
                raise ValueError(
                    f"Ambiguous response. Both {self.true_val} and {self.false_val} "
                    f"in received: {text}."
                )
            return True
        elif self.false_val.upper() in truthy:
            if self.true_val.upper() in truthy:
                raise ValueError(
                    f"Ambiguous response. Both {self.true_val} and {self.false_val} "
                    f"in received: {text}."
                )
            return False
        raise ValueError(
            f"BooleanOutputParser expected output value to include either "
            f"{self.true_val} or {self.false_val}. Received {text}."
        )

    @property
    def _type(self) -> str:
        """Snake-case string identifier for an output parser type."""
        return "boolean_output_parser"

 

 Parser의 Class를 보면 Yesy / No가 prompt 결과에 있으면 boolean으로 결과를 바꿔 준다. Booleanparser라고 답변을 True / False로 받게 하면 안된다.. 

 

---

Result

 내가 받은 스팸 메세지를 직접 테스트 해보았다. 아래 While loop를 사용해 llm이 잘못된 답변으로 Booleanparser가 Error나는 것을 방지할 수있다. ollama를 통해 llm을 쉽게 인퍼런스하고 langchain으로 내가 원하는 output으로 함수화 할 수 있어 많은 것을 자동화 할 수있다.

 복잡하지만 중요하지 않은 것들을 대상으로 활용하길 추천한다. 그 이유는 GPT-4, SOTA LLM 모델도 100% 일관되고 정확한 답변을 내지 않는다. 

from langchain_community.llms import Ollama
from langchain.output_parsers import BooleanOutputParser
from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate(
        template=
        "Following are the questions to determine if the message is spam or not.\n"
        "Does this message contain words such as stock, share price, investment, profit, surge, buy, sell?\n"
        "Does this message guarantee high returns or promise quick investment profits?\n"
        "Does this message urge immediate buying or investment?\n"
        "Is this message sent from an untrusted source or using a suspicious email address?\n"
        "Does this message contain spam-like phrases such as 'urgent', 'exclusive', 'guaranteed profit', 'insider information'\n?"
        "If you think this message is one of the spam messages, please answer `Yes`.\n"
        "If you think this message is not a spam message, please answer `No`.\n"
        "{message}",
        input_variables=["message"],
        partial_variables={"format_instructions": format_instructions},
    )
ollama = Ollama(model="gemma2:latest",temperature=0, verbose=True)
chain = (
    prompt | ollama | BooleanOutputParser()
)
text = """
[Web발신]
Chat GPT AI가 추천하는 주식 선정 전략에 참여하세요.

투자 여정을 시작하고 싶으시다면 아래 링크를 클릭하여 
매월 5 개! 종목과 주식 전문 선정 전략을 무료로 받아보세요.

https://band.us/n/a

저희는 반 년만에 ‘’1227%‘’ 라는 놀라운 수익을 얻었습니다. 이것은 숫자가 아니라 저희가 투자 잠재력에 대한 강력한 믿음과 약속 입니다.

여러분들이 전문 적으로 주식 투자를 할수 있도록 최선다해 도와 드리겠습니다.
"""

result = chain.invoke(text)
result # True

 

  앞으로 스팸 자동 신고 배치를 만들 계획이다.