import matplotlib matplotlib.use('Agg") import matplotlib.pyplot as plt plt.plot() plt.savefig()...

[8일차] 1. Deep Learning의 구조 소개 * Wn(Weight) : 회귀 분석의 회귀 계수와 비슷한 역할을 한다. 회귀 분석의 목적과 동일 하게 변수를 통해 Output을 찾는 식을 구하는 방식이다. 2. 다양한 Optimizer 소개 * 경사하강법(Gradient descent) : - stochastic gradient descent : 값을 하나하나 넣어 갱신하기 때문에 시간이 오래걸린다는 단점이 있다. - Batch gradient descent : Training set data의 가중치 평균을 이용하여 갱신 - Mini Batch : 일부 훈련자료의 무작위 복원 추출하여 Training set data의 가중치 평균을 갱신 3. Learning rate를 조절하는 방식 - ADAM..

- torchvision.models를 통해 model 불러오기 import torchvision.models as models - model 설정 (image clf : resnet34, vgg, alexnet, squeezenet, densenet, googlenet etc) model = models.resnet34(pretrained=False) - model.cuda = model.to(DEVICE) 모델 입력 model = model.cuda # model.to(DEVICE)

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') is_channel : 이미지의 채널 수 (ex, color dim) out_channel : Filter의 개수 = Output의 depth kernel_size : Filter의 크기 padding : Convolution이 진행하면서 겹쳐지는 공간을 0으로 채워 연산 수를 동일하게 해준다. stride : 필터 진행 간격

[main] gtx 1660 super Python = 3.7.6 tensorflow_version=2.4.0 CUDA = 11.0 cudnn = 8.0.5

토큰화 진행 후 input shape를 위해 채워주었던 빈 공간들을 사용하지 않고 처음 부터 해당 길이에 맞추어 토큰화 진행한다. 해당 토큰의 시작 점과 끝 지점을 설정해 input shape를 정한다. 짧은 길이의 문장 같은 경우 max_len 까지 빈 공간이 많이 생겨 predict에 큰 영향을 준다. 이러한 문제를 해결하기 위해 버키팅을 사용한다.

Adam Adam: Adaptive moment estimation Adam = RMSprop + Momentum Momentum : gradient descent 시 최소점을 찾기 위해 모든 스텝을 밟는 것이 아닌 스텝을 건너 뛴다. Stochastic gradient descent(SGD) Adagrad It makes big updates for infrequent parameters and small updates for frequent parameters. For this reason, it is well-suited for dealing with sparse data. The main benefit of Adagrad is that we don’t need to tune the learning..

from IPython.core.display import display, HTML display(HTML("")) import pandas as pd # 보기 너비 증가 pd.set_option('display.max.colwidth', 200)