% Pytorch 1.12.0 이상의 버전에서 mps를 지원한다. import torch device = torch.device(device='mps') # model.to(device) print(torch.backends.mps.is_available()) True M1 활성 상태 보기 Spolite 검색 -> 활성 상태 보기 -> GPU 기록(cmd+4)

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Vision in Transformer는 CNN 없이 Image Classification을 수행할 수 있다는 것을 보여준 하나의 사례이다. 이전에도 Transformer와 Vision을 합친 시도는 있었지만 방대한 양의 학습을 진행한 연구는 없었다. 학습양이 많고 예측 Label이 많을 경우 갖는 문제점을 개선하고 연산 감소(CNN 대비)와 Pre-trained Model이라는 점에서 Attention의 장점을 많이 활용했다. CNN SOTA 대비 두가지 문제를 해결했다. 1. CNN(Convolution Neural Network)에서 발생하는 translation e..

Einstein summation numpy, torch, tensorflow 등 다양한 Tensor Type의 형태를 변형할 때 주로 사용된다. 현재는 einops와 코드를 함께 작성하면 정말 모든 이가 알아볼 수 있을 설명서 같은 모델을 작성할 수 있다. Example) Attention에서 energy를 구할때 Q 와 K^T의 행렬곱시 Key 부분의 Transpose를 쉽게 표현 가능 quries = torch.tensor(np.array([i for i in range(0,240)]).reshape(1,2,6,20),dtype=torch.float64) keys = torch.tensor(np.array([i*2 for i in range(0,240)]).reshape(1,2,6,20),dtype..

ImportError: cannot import name 'PILLOW_VERSION' from 'PIL' (/Users/miniforge3/envs/vit/lib/python3.11/site-packages/PIL/__init__.py) from PIL import __version__ print(__version__) # version 9.2.0 Solution 1. 구버전으로 다시 설치 (Pillow Version < 7) - pip install pillow == 6.22 - 다른 패키지와 충돌이 있을 수 있어 비추천 Solution 2. Pillow Version 입력 import PIL from PIL import __version__ print(__version__) PIL.PILLOW_VE..

Recap Innovators Hive Welcome - Regional Lead of Cloud Customer Experience, Google Cloud Developer Keynote | 10 Prospects from Next '22 / 김재한 - Customer Engineering Manager, Google Cloud 클라우드 인프라 관련 결정의 절반 이상이 기업의 이용 패턴에 따라 결정 된다. IPU - 고성능 앱구동에 필요한 모듈 TPU v4 대규모 학습 환경 Speed 80% Cost Down 30% 원격 측정 가능 4명 중 3명의 개발자가 지속가능성을 기본의 원칙으로 개발 리스크 대비 유동적인 개발 ex) 저탄소 배출 선택(origon 주)을 목표, 환경 부담이 덜 되는 서버 지역을..

K-NN (k-최근접이웃) *안정적이지만 편향된 선형 모델 vs 덜 안정적이지만 덜 편향적인 모델 *어떠한 x든지 이에 가까운 관측치의 이웃을 꽤 많이 찾고 평균을 구할 수 있다. -> 하지만 high dimension에서 이 방식은 통하지 않는다. curse of dimensionality(Bellman, 1961) p차원 유닛의 초입방체내 균일하게 분포된 입력값에 관한 K-NN 모델 가정 $e_{r}$= $r^\frac{1}{p}$ 고차원에서 표집의 다른 중요한 점은 모든 표본 지점들이 표본의 모서리와 가깝다는 것이다. N개의 데이터 지점이 있을 때 원점으로부터 가장 가까운 데이터 지점의 중앙값의 거리를 $d(p,N) = (1 - \frac{1}{2}^(1/N))^(1/p)$ N=500, p=10 d..

https://medium.com/@alfarruggia/from-zero-to-transformers-on-apple-m1-chip-e5d9afa35f5 From Zero to Transformers on Apple M1 Chip A copy-and-paste guide to install Tensorflow and Transformers on Apple M1 Chip. medium.com pip에서 rust를 통해 라이브러리를 설치하는데 문제가 있어,, 아무리 환경 설정을 잡아도 되지 않아 conda install -c huggingface transformers -y conda를 통해 해결

from datetime import datetime user = 'eric_idle' member_since = datetime(1975, 7, 31) f'{user=} {member_since=}' result -> "user='eric_idle' member_since=datetime.date(1975, 7, 31)" python에서 f-format으로 print 시 파라미터와 함께 적어 줄 수 있는 방법이 Release되었다. 바다 코끼리 (walrus operator) :=