class MultiHeadAttention(tf.keras.layers.Layer): def __init__(self,**kargs): super(MultiHeadAttention,self).__init__() self.num_heads = kargs['num_heads'] self.d_model = kargs['d_model'] assert self.d_model % self.num_heads == 0 self.depth = self.d_model // self.num_heads self.wq = tf.keras.layers.Dense(kargs['d_model']) self.wk = tf.keras.layers.Dense(kargs['d_model']) self.wv = tf.keras.layers..

분류명이 붙은 문자 메세지들로 선형 판별 분석 모형을 훈련 LDA는 LSA와 비슷 한 고차원 공간에서 차원들(BOW, TF-IDF)의 최고의 일차 결합을 찾아내려면 분류명이나 기타 점수들이 미리 부여된 훈련된 자료가 필요하다. LSA - 새 벡터 공간에서 모든 벡터가 서로 최대한 떨어지게 부여 LDA - 분류들 사이의 거리 즉 한 분류에 속하는 벡터들의 무게 중심과 다른 부류에 속하는 벡터들의 무게중심 사이의 거리를 최대화 LDA를 수행하려면 LDA 알고리즘에 분류명이 붙은 견본들을 제공해서 우리가 모형화하고자하는 주제를 알려줘야한다. ( 스팸 1 / 비스팸 0 ) Data Load # data load import pandas as pd from nlpia.data.loaders import get_d..

Conditional VAE (조건부 VAE) 조건부VAE(Conditional VAE)는 잠재 변수뿐만 아니라 레이블도 디코더에 입력하여 레이블을 지정하는 형태로 데이터를 생성한다. 필기체 숫자 이미지별로 가로와 세로의 잠재 변수 2개를 변화시키며 같은 숫자라도 필기체 숫자 이미지가 바뀌는 것을 알 수 있다. VAE는 보통 비지도학습이지만 지도학습 요소를 추가해 비지도 학습을 실행하면 복원할 데이터를 지정할 수 있다. β-VAE β-VAE는 이미지의 'disentanglement', 얽힌 것을 푸는 것이 특징이다. 이미지의 특징을 잠재 공간에서 분리하는 응용 기술이다. 예를 들어 얼굴 이미지는 첫 번쨰 잠재 변수에서 눈의 모양, 두 번째 잠재 변수에서 얼굴 방향의 특징을 담는다. 잠재 변수로 눈의 모양..

LSA 주제 모형이 고차원 TF-IDF 벡터 모형과 어느 정도나 일치하는지를 유사도 점수를 이용해서 비교 LSA를 거친 모형(다차원을 축소)이 고차원 벡터들과 비슷한 성능을 낼 수 있다면 좋은 모형이라고 할 수 있다. 두 주제벡터 사이 거리와 각도에 따라 주제의 의미가 얼마나 비슷한지 알려준다. 좋은 주제 모형이라면 비슷한 주제의 문서들에 대한 벡터 공간 안에서 서로 가까이 있어야한다. LSA는 벡터들 사이의 큰 거리를 유지하지만, 가까운 거리를 항상 유지하지는 않는다. 그말은 LSA는 문서들 사이의 관계에 대한 성분이 소실 될 수있다. LSA의 SVD 알고리즘은 새 주제 벡터 공간에서 모든 문서의 분산을 최대화하는 것에 초점을 두었기 때문이다. 특징 벡터 사이의 거리는 NLP 파이프라인의 성과에 큰 영..

nlp.seas.harvard.edu/2018/04/01/attention.html#position-wise-feed-forward-networks The Annotated Transformer The recent Transformer architecture from “Attention is All You Need” @ NIPS 2017 has been instantly impactful as a new method for machine translation. It also offers a new general architecture for many NLP tasks. The paper itself is very clearly writte nlp.seas.harvard.edu class Positiona..

nlp.seas.harvard.edu/2018/04/01/attention.html#position-wise-feed-forward-networks The Annotated Transformer The recent Transformer architecture from “Attention is All You Need” @ NIPS 2017 has been instantly impactful as a new method for machine translation. It also offers a new general architecture for many NLP tasks. The paper itself is very clearly writte nlp.seas.harvard.edu class MultiHead..