Embedding Model API ํ๊ตญ์ด Token & ๋น์ฉ ๋น๊ต
ยท
๐ฃ๏ธ Natural Language Processing
“๋ํ๋ฏผ๊ตญ ๋ฒ๋ฅ ์ ๋ฌธ”์ ๊ฐ์ง๊ณ OpenAI(ChatGPT), GOOGLE(Gemini), Antropic(Claude), Upstage(Solar)๋ฅผ ๋์์ผ๋ก embedding ํ token ์๋ฅผ ๋น๊ตํ๋ ์คํ์ ์งํ Goal : API๋ก ์ ๊ณต๋๋ LLM ์ค ์ด๋ค ๋ชจ๋ธ์ด ํ๊ตญ์ด token์ ๊ฐ์ฅ ์ ๊ฒ ์ฌ์ฉํ๊ณ ๋น์ฉ ์ ๋ ดํ์ง ๋น๊ต Input Text(๋ํ๋ฏผ๊ตญํ๋ฒ ์ ๋ฌธ, text length=373) ์ ๊ตฌํ ์ญ์ฌ์ ์ ํต์ ๋น๋๋ ์ฐ๋ฆฌ๋ค ๋ํ๊ตญ๋ฏผ์ ๊ธฐ๋ฏธ ์ผ์ผ์ด๋์ผ๋ก ๋ํ๋ฏผ๊ตญ์ ๊ฑด๋ฆฝํ์ฌ ์ธ๊ณ์ ์ ํฌํ ์๋ํ ๋
๋ฆฝ์ ์ ์ ๊ณ์นํ์ฌ ์ด์ ๋ฏผ์ฃผ๋
๋ฆฝ๊ตญ๊ฐ๋ฅผ ์ฌ๊ฑดํจ์ ์์ด์ ์ ์์ธ๋์ ๋ํฌ์ ๋ก์จ ๋ฏผ์กฑ์ ๋จ๊ฒฐ์ ๊ณต๊ณ ํ ํ๋ฉฐ ๋ชจ๋ ์ฌํ์ ํ์ต์ ํํํ๊ณ ๋ฏผ์ฃผ์ฃผ์์ ์ ๋๋ฅผ ์๋ฆฝํ์ฌ ์ ์น, ๊ฒฝ์ , ์ฌํ, ๋ฌธํ์ ๋ชจ๋ ์์ญ์ ์์ด..