Auto-Regressive Large Language Models (AR-LLMs) 하나의 텍스트 토큰 다음에 다른 토큰을 출력 토큰은 단어나 하위단어를 나타냄 인코더/예측기는 수십억 개의 매개변수를 가진 트랜스포머 아키텍처 일반적으로 10억 ~ 5,000억 개의 매개변수 훈련 데이터: 1조 ~ 2조 개의 토큰 사용 대화/텍스트 생성 LLM 종류 Open Source : BlenderBot, Galactica, LlaMa, Llama-2, Code Llama (FAIR), Mistral-7B, Mixtral-4x7 B (Mistral), Falcon (UAE), Alpaca (Stanford), Yi (01.AI), OLMo (AI2), Gemma (Google) Proprietary : Meta A..

Yann Lecun | Objective-Driven AI: Towards AI systems that can learn, remember, reason, and plan Yann Lecun, 프랑스계 미국 CS 석박으로 Deep Learning의 아버지 3명 중 한 명이다. CMSA는 하버드에서 수학, 과학을 주제로 다루는 연구 센터이다. 여기서 Yann은 AI가 나아가야 할 방향에 대해 설명하며 자신이 생각하는 AGI의 필수 요소를 learn, remember, reason, plan으로 소개했다. 배우고 기억하고 이해하고 설계(목표를 위해 실행) 본 글은 강의의 도입부를 정리함. Machine Learning sucks! 머신러닝은 생각보다 구리다. 동물과 인간 아주 적은 task(행동)으로 새로운..