전체 글

reparameterization trick VAE는 입력을 재현하도록 학습한다. 확률 분포에 따라 샘플링한 데이터가 중간에 있스으므로 편미분, 역전파 둘다 불가능하다. 따라서 VAE는 reparameterization trick이라는 방법을 사용한다. reparameterization trick은 평균 = 0 표준편차 = 1 정규화분포를 따른다. z = μ + ϵσ ϵ에 표준편차(σ)를 곱한 후 평균 μ를 더해 계산한다. VAE 재구성 오차

VAE(Variational Autoencoder)는 오토인코더(자기부호화기)라는 신경망의 발전 형태를 기반에 두었다. 오토인코더는 인코더와 디코더로 구성되어 있다. [Autoencoder] 입력과 출력의 크기는 같고, 은닉층의 크기는 그보다 작다. 신경망은 출력에서 입력한 데이터를 재현하도록 학습하지만, 은닉층의 크기는 입력보다 작다. 인코더로 데이터를 압축하고 디코더로 압축한 데이터를 원래 데이터로 복원한다. 입력 데이터가 이미지라면 은닉층은 인코더와 디코더를 이용해 원래 이미지보다 적은 데이텨 양으로 이미지의 특징을 유지 한다. 즉 오토인코더는 신경망을 이용한 입력의 압축과 복원이라고 이해하면 쉽다. 오토인코더는 지도 데이터가 필요 없으므로 비지도 학습이다. 입력과 출력의 차이를 이용해 비정상적인 ..

LDiA 대부분 주제 모형화나 의미 검색, 내용 기반 추천 엔진에서 가장 먼저 선택해야 할 기법은 LSA이다. 내용 기반 영화추천 알고리즘에 의하면 LSA가 LDiA 보다 약 두배로 정확하다. LSA에 깔린 수학은 간단하고 효율적이다. NLP의 맥락에서 LDiA는 LSA처럼 하나의 주제 모형을 산출한다. LDiA는 이번 장 도입부에서 했던 사고 실험과 비슷한 방식으로 의미 벡터 공간(주제 벡터들의 공간)을 산출한다. LDiA가 LSA와 다른 점은 단어 빈도들이 디리클레 분포를 따른다고 가정한다. LSA의 모형보다 LDiA의 디리클레 분포가 단어 빈도들의 분포를 잘 표현한다. LDiA는 의미 벡터 공간을 산출한다. 사고 실험에서 특정 단어들이 같은 문서에 함께 등장하는 횟수에 기초해서 단어들을 주제들에 직..

# 전처리 함수 생성 후 적용 def preprocessing(data,stopword): rm = re.compile('[:;\\'\\"\\[\\]\\(\\)\\.,@]') rm_data = data.astype(str).apply(lambda x: re.sub(rm, '', x)) word_token = [word_tokenize(x) for x in rm_data] remove_stopwords_tokens = [] for sentence in word_token: temp = [] for word in sentence: if word not in stopword: temp.append(word) remove_stopwords_tokens.append(temp) return remove_stopwo..

- Full Support - All Tesla products, starting with the Kepler architecture - All Quadro products, starting with the Kepler architecture - All GRID products, starting with the Kepler architecture - GeForce Titan products, starting with the Kepler architecture - Limited Support - All Geforce products, starting with the Kepler architecture nvidia-smi [OPTION1 [ARG1]] [OPTION2 [ARG2]] ... -h, --help..

RNN 특성상 인풋 값을 시계열로 다룬다. 따라서 이미지를 처리 할 때 훈련된 모델에 처음 몇 행을 입력하면 다음 행을 예측한다. 이 예측된 행을 포함해 다시 몇 개의 행을 입력으로 다음 행을 예측하는 훈련을 반복하면 , 항 행씩 이미지를 생성 가능하다. # RNN #RNN을 이용한 이미지 생성 import numpy as np import matplotlib.pyplot as plt from sklearn import datasets from sklearn.model_selection import train_test_split img_size = 8 # 이미지의 폭과 높이 n_time = 4 # 시계열 데이터의 수 n_in = img_size # 입력층의 뉴런 수 n_mid = 128 # 은닉층의 뉴런..