[GPT4V]OpenAI DevDay, Opening Keynote

https://www.youtube.com/live/U9mJuUkhUzk?si=kexb8r5aavuJGq6A

 

 OpenAI의 발표가 Apple 제품 출시만큼 기다려지는 게 미래를 바꿀 기업 중 하나이지 않을까라는 사람들의 기대감이 있는 거같다. 그에 맞춰 Langchain으로 llm을 엮어 Agent를 만드는 시도의 프로젝트를 상업화하려는 기업들이 많이 등장하고 있는 이시점에 그들에게 벼락을 내리쳤다. 그것은 바로 ,, 가격인하와 더욱 강력해진 API... 

 

첫 번째 컨퍼런스인 OpenAI 개발자 컨퍼런스에서 발표된 주요 새 기능과 업데이트를 공유하게 되어 기쁘게 생각합니다. 자세한 내용은 블로그에서 확인하시거나, 기조연설 녹화본을 보시거나, 새로운 @OpenAIDevs 트위터에서 확인하실 수 있지만, 여기서는 간략하게 요약해 보겠습니다

 

New GPT-4-turbo:

• 저희는 가장 진보된 모델인 GPT-4 Turbo를 발표했습니다. 이 제품은 128K 컨텍스트 창과 2023년 4월까지의 세계 이벤트에 대한 지식을 제공합니다.
• GPT-4 터보의 가격을 대폭 인하했습니다. 이제 입력 토큰의 가격은 0.01$/1k, 출력 토큰의 가격은 0.03$/1k로, 이전 GPT-4 가격보다 각각 3배, 2배 저렴해졌습니다.
• 단일 메시지에서 여러 함수를 호출할 수 있는 기능, JSON 모드에서 항상 유효한 함수를 반환하는 기능, 올바른 함수 매개변수를 반환하는 정확도 향상 등 함수 호출이 개선되었습니다.
• 새로운 재현 가능한 출력 베타 기능으로 모델 출력이 더욱 결정적입니다.
• 올해 말 안정적으로 프로덕션에 사용할 수 있는 모델 릴리스가 예정되어 있으며, API에서 gpt-4-1106-preview를 전달하여 GPT-4 Turbo에 액세스할 수 있습니다.
  
  

Update GPT-3.5-turbo:

• 새로운 gpt-3.5-turbo-1106은 기본적으로 16K 컨텍스트를 지원하며, 4배 더 긴 컨텍스트를 더 저렴한 가격($0.001/1K 입력, $0.002/1K 출력)으로 이용할 수 있습니다. 이 16K 모델의 미세 조정이 가능합니다. 
• 미세 조정된 GPT-3.5는 입력 토큰 가격이 $0.003/1K로 75%, 출력 토큰 가격이 $0.006/1K로 62% 낮아져 훨씬 저렴하게 사용할 수 있습니다.
• GPT-3.5-TURBO-1106은 향상된 함수 호출과 재현성을 갖춘 GPT-4 터보에 합류합니다.

 

https://i.namu.wiki/i/MxUEn6LTl0p6MDKz9gKllL60F5UvInXBqMrnZFipzNWfcXhCZaXfuNl8PQJonbdv3IvWSseXU0CYwiyxV2ubX3aEin-x34pn9o828hA2IHVEb8h7K2CV3ax9RsD0-eEgtpP9TZYC0lBJvXJlKlREvw.webp

 

gpt-4-vision-preview

 이번에 발표한 API 중 가장 흥미로운 것은 GPT4V(gpt-4-vision-preview)이다. GPT의 눈이라고 해도 과언이 아니다. 아직 모든 것을 보지 못해 묘사를 하는 수준이지만 그 묘사만으로도 여러가지 할 수 있을 것으로 보인다.

 

아래 예시는 다윈의 초상화를 보고 "누구인지 알려주고 뭘했는지 알려줘"라고 gpt-4-vision에게 물어보는 예시이다.  

from openai import OpenAI

client = OpenAI(organization="")
response = client.chat.completions.create(
    model="gpt-4-vision-preview",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": "https://upload.wikimedia.org/wikipedia/commons/2/2e/Charles_Darwin_seated_crop.jpg",
                },
                {
                    "type": "text",
                    "text": "Tell me who it is and describe what this person did. and translate it into Korean.",
                }
            ],
        }
    ],
    max_tokens=300,
)

Darwin

 

Result 

이 사람은 자연과학 분야에서 중대한 인물로 여겨집니다. 생물학적 진화와 자연 선택의 과정에 대한 획기적인 아이디어를 개발했습니다. 그의 작업은 종이 시간이 지남에 따라 어떻게 진화하는지에 대한 현대적 이해의 기초를 마련했습니다. 또한 그는 자신의 이론을 개요한 매우 영향력 있는 책을 썼으며, 이는 과학과 사회에 깊은 영향을 미쳤습니다.

 

 

Darwin의 업적에 대한 묘사를 간략히 잘해냈다. 누구인지는 "I'm sorry, but I can't provide the name or identity of a real person shown in an image. However, I can discuss the historical context or significance of a person if you have other related questions." 모른다고 답변한다.

 

 묘사와 설명은 잘하는 편이라 인간을 검증하는 ReCapChav2 정도는 무난히 뚫을 수 있다.  인간과 GPT를 구분할 수 있는 경계가 점점 모호해져 가고 있어 문제가 커질 것이라 본다.