분류 전체보기

Auto-Regressive Large Language Models (AR-LLMs) 하나의 텍스트 토큰 다음에 다른 토큰을 출력 토큰은 단어나 하위단어를 나타냄 인코더/예측기는 수십억 개의 매개변수를 가진 트랜스포머 아키텍처 일반적으로 10억 ~ 5,000억 개의 매개변수 훈련 데이터: 1조 ~ 2조 개의 토큰 사용 대화/텍스트 생성 LLM 종류 Open Source : BlenderBot, Galactica, LlaMa, Llama-2, Code Llama (FAIR), Mistral-7B, Mixtral-4x7 B (Mistral), Falcon (UAE), Alpaca (Stanford), Yi (01.AI), OLMo (AI2), Gemma (Google) Proprietary : Meta A..

Yann Lecun | Objective-Driven AI: Towards AI systems that can learn, remember, reason, and plan Yann Lecun, 프랑스계 미국 CS 석박으로 Deep Learning의 아버지 3명 중 한 명이다. CMSA는 하버드에서 수학, 과학을 주제로 다루는 연구 센터이다. 여기서 Yann은 AI가 나아가야 할 방향에 대해 설명하며 자신이 생각하는 AGI의 필수 요소를 learn, remember, reason, plan으로 소개했다. 배우고 기억하고 이해하고 설계(목표를 위해 실행) 본 글은 강의의 도입부를 정리함. Machine Learning sucks! 머신러닝은 생각보다 구리다. 동물과 인간 아주 적은 task(행동)으로 새로운..

“대한민국 법률 전문”을 가지고 OpenAI(ChatGPT), GOOGLE(Gemini), Antropic(Claude), Upstage(Solar)를 대상으로 embedding 후 token 수를 비교하는 실험을 진행 Goal : API로 제공되는 LLM 중 어떤 모델이 한국어 token을 가장 적게 사용하고 비용 저렴한지 비교 Input Text(대한민국헌법 전문, text length=373) 유구한 역사와 전통에 빛나는 우리들 대한국민은 기미 삼일운동으로 대한민국을 건립하여 세계에 선포한 위대한 독립정신을 계승하여 이제 민주독립국가를 재건함에 있어서 정의인도와 동포애로써 민족의 단결을 공고히 하며 모든 사회적 폐습을 타파하고 민주주의제제도를 수립하여 정치, 경제, 사회, 문화의 모든 영역에 있어..

"Should You Mask 15% in Masked Language Modeling?" https://arxiv.org/abs/2202.08005 Should You Mask 15% in Masked Language Modeling? Masked language models (MLMs) conventionally mask 15% of tokens due to the belief that more masking would leave insufficient context to learn good representations; this masking rate has been widely used, regardless of model sizes or masking strategies. In arxiv.org..

“Formatted String Literals.” 1) f-string nested in nested python 버전이 올라가면서 다양하고 편리한 기능이 많이 생겼다. 그 중하나인 f-string 안에 다시 f-string을 사용하는 것이다. 이렇게 되면 앞서 소개한 f-string trick(1)의 datetime을 자유자재로 사용할 수 있다. from datetime import datetime now : datetime = datetime.now() date_spec : str = "%d.%m.%Y" date = now | date_spec print(f"{now:{date_spec}}") # '17.03.2024' 2) file path file path를 문자열로 처리할 때 escape ..

304 Not Modified 클라이언트 리디렉션 응답 코드 304 Not Modified 는 요청된 리소스를 재전송할 필요가 없음을 나타낸다. 캐시된 자원으로의 암묵적인 리디렉션이다. 이는 GET이나 HEAD 요청처럼 요청 방법이 안전한 경우 또는 요청이 조건부로 If-None-Match 또는 If-Modified-Since 헤더를 사용할 때 응답 된다. 간혹 서버에 필요 없는 header나 body가 포함되어 있거나 https 주소에 http로 요청할 때 발생

syslog 보다 더 많은 기능을 제공하는 rsyslog 로그 관리 프로그램을 docker로 빌드해 root 환경에서 사용할 때 겪는 에러를 알아보자. 1) rsyslogd: imklog: cannot open kernel log (/proc/kmsg): Operation not permitted. imklog : Kernel Log Input Module kernel과 관련된 로그를 기록하는 module이다. 불필요하다면 /etc/rsyslog.conf 파일을 수정한다. sed -i '/imklog/s/^/#/' /etc/rsyslog.conf docker의 권한을 부여해 실행 docker --privileged https://github.com/docker/for-win/issues/8649 /pr..

Python 처음 접하는 사람들이 하는 흔한 실수 1) try ~ except~ 구문 구문 사용할 때 error문을 직접 그것도 이상하게 작성하는 경우가 많다. python에서 사용하는 error 구문을 사용하면 될 일을 나만이 알아보게 해놓는것이 큰 실수로 이어진다. [Worse] total: float = 0 while True: user_input: str = input("Add: ") try: total += float(user_input) except: print('숫자만 입력해주시오.') print(f"Current: {total}") [Better] total: float = 0 while True: user_input: str = input("Add: ") try: total += floa..