Auto-Regressive Large Language Models (AR-LLMs) 하나의 텍스트 토큰 다음에 다른 토큰을 출력 토큰은 단어나 하위단어를 나타냄 인코더/예측기는 수십억 개의 매개변수를 가진 트랜스포머 아키텍처 일반적으로 10억 ~ 5,000억 개의 매개변수 훈련 데이터: 1조 ~ 2조 개의 토큰 사용 대화/텍스트 생성 LLM 종류 Open Source : BlenderBot, Galactica, LlaMa, Llama-2, Code Llama (FAIR), Mistral-7B, Mixtral-4x7 B (Mistral), Falcon (UAE), Alpaca (Stanford), Yi (01.AI), OLMo (AI2), Gemma (Google) Proprietary : Meta A..