“대한민국 법률 전문”을 가지고 OpenAI(ChatGPT), GOOGLE(Gemini), Antropic(Claude), Upstage(Solar)를 대상으로 embedding 후 token 수를 비교하는 실험을 진행 Goal : API로 제공되는 LLM 중 어떤 모델이 한국어 token을 가장 적게 사용하고 비용 저렴한지 비교 Input Text(대한민국헌법 전문, text length=373) 유구한 역사와 전통에 빛나는 우리들 대한국민은 기미 삼일운동으로 대한민국을 건립하여 세계에 선포한 위대한 독립정신을 계승하여 이제 민주독립국가를 재건함에 있어서 정의인도와 동포애로써 민족의 단결을 공고히 하며 모든 사회적 폐습을 타파하고 민주주의제제도를 수립하여 정치, 경제, 사회, 문화의 모든 영역에 있어..

"Should You Mask 15% in Masked Language Modeling?" https://arxiv.org/abs/2202.08005 Should You Mask 15% in Masked Language Modeling? Masked language models (MLMs) conventionally mask 15% of tokens due to the belief that more masking would leave insufficient context to learn good representations; this masking rate has been widely used, regardless of model sizes or masking strategies. In arxiv.org..

“Formatted String Literals.” 1) f-string nested in nested python 버전이 올라가면서 다양하고 편리한 기능이 많이 생겼다. 그 중하나인 f-string 안에 다시 f-string을 사용하는 것이다. 이렇게 되면 앞서 소개한 f-string trick(1)의 datetime을 자유자재로 사용할 수 있다. from datetime import datetime now : datetime = datetime.now() date_spec : str = "%d.%m.%Y" date = now | date_spec print(f"{now:{date_spec}}") # '17.03.2024' 2) file path file path를 문자열로 처리할 때 escape ..

304 Not Modified 클라이언트 리디렉션 응답 코드 304 Not Modified 는 요청된 리소스를 재전송할 필요가 없음을 나타낸다. 캐시된 자원으로의 암묵적인 리디렉션이다. 이는 GET이나 HEAD 요청처럼 요청 방법이 안전한 경우 또는 요청이 조건부로 If-None-Match 또는 If-Modified-Since 헤더를 사용할 때 응답 된다. 간혹 서버에 필요 없는 header나 body가 포함되어 있거나 https 주소에 http로 요청할 때 발생

syslog 보다 더 많은 기능을 제공하는 rsyslog 로그 관리 프로그램을 docker로 빌드해 root 환경에서 사용할 때 겪는 에러를 알아보자. 1) rsyslogd: imklog: cannot open kernel log (/proc/kmsg): Operation not permitted. imklog : Kernel Log Input Module kernel과 관련된 로그를 기록하는 module이다. 불필요하다면 /etc/rsyslog.conf 파일을 수정한다. sed -i '/imklog/s/^/#/' /etc/rsyslog.conf docker의 권한을 부여해 실행 docker --privileged https://github.com/docker/for-win/issues/8649 /pr..

Python 처음 접하는 사람들이 하는 흔한 실수 1) try ~ except~ 구문 구문 사용할 때 error문을 직접 그것도 이상하게 작성하는 경우가 많다. python에서 사용하는 error 구문을 사용하면 될 일을 나만이 알아보게 해놓는것이 큰 실수로 이어진다. [Worse] total: float = 0 while True: user_input: str = input("Add: ") try: total += float(user_input) except: print('숫자만 입력해주시오.') print(f"Current: {total}") [Better] total: float = 0 while True: user_input: str = input("Add: ") try: total += floa..