전체 글

wiki.hash.kr/index.php/%EC%A0%9C%ED%94%84%EB%A6%AC_%ED%9E%8C%ED%8A%BC 제프리 힌튼 - 해시넷 제프리 힌튼(Geoffrey Hinton) 제프리 힌튼(Geoffrey Hinton)은 인공지능(AI) 분야를 개척한 영국 출신의 인지심리학자이자 컴퓨터 과학자이다. 오류 역전파 법과 딥러닝 연구에 기여하고, 힌튼 다이어그 wiki.hash.kr 힌튼은 하나의 목표변수에 대해 여러 개의 퍼셉트론을 동시에 사용하는 것이 기존의 신경망을 대체할 유일한 방법임을 확신하고 연구했다. 결국 다수의 퍼셉트론을 함께 사용한다면 비선형 문제 또한 해결할 수 있다는 것을 보였다. 병렬로 배치된 두 퍼셉트론에 같은 자료를 입력할 때, 두 퍼셉트론의 출력을 무엇으로 하든 그오차..

퍼셉트론을 수학적으로 다룰 때는 출력을 f(x)로 표현한다. input*weights + bias_weights > 0.5 1? 0? -> 1 predict = 1 import numpy as np example_input = [1,.2,.05,.1,.2] example_weights = [.2,.12,.4,.6,.90] input_vector = np.array(example_input) weights = np.array(example_weights) bias_weights = .2 activation_level = np.dot(input_vector,weights)+(bias_weights * 1) activation_level # 0.684 # threshold threshold = 0.5 if a..

전문 검색 특정 단어나 문구가 있는 문서를 검색하는 것을 전문 검색(full text search)이라고 한다. 검색 엔진이 하는 기능이다. 검색 엔진들은 문서를 여러 조각으로 나누고, 각 조각들이 문서에 있는지 역색인(inversed index)을 작성한다. 책 뒷면에 keyword를 정리해둔 페이지와 비슷한 역할이다. 의미 기반 검색(semantic search) 질의문을 구성하는 단어들의 의미를 고려해서 문서를 찾는다. LSA와 LDiA를 사용해 주제 벡터를 구하는 방법으로 찾는다. 이 기법이 BOW나 TF-IDF 벡터 같은 수치들의 '색인'을 이용한 의미 기반 검색을 가능하게 하는 방법이다. 그러나 BOW나 TF-IDF벡터와 달리 의미 벡터들의 테이블은 전통적인 역색인 기법들로 쉽게 이산화하고 색..

class MultiHeadAttention(tf.keras.layers.Layer): def __init__(self,**kargs): super(MultiHeadAttention,self).__init__() self.num_heads = kargs['num_heads'] self.d_model = kargs['d_model'] assert self.d_model % self.num_heads == 0 self.depth = self.d_model // self.num_heads self.wq = tf.keras.layers.Dense(kargs['d_model']) self.wk = tf.keras.layers.Dense(kargs['d_model']) self.wv = tf.keras.layers..

분류명이 붙은 문자 메세지들로 선형 판별 분석 모형을 훈련 LDA는 LSA와 비슷 한 고차원 공간에서 차원들(BOW, TF-IDF)의 최고의 일차 결합을 찾아내려면 분류명이나 기타 점수들이 미리 부여된 훈련된 자료가 필요하다. LSA - 새 벡터 공간에서 모든 벡터가 서로 최대한 떨어지게 부여 LDA - 분류들 사이의 거리 즉 한 분류에 속하는 벡터들의 무게 중심과 다른 부류에 속하는 벡터들의 무게중심 사이의 거리를 최대화 LDA를 수행하려면 LDA 알고리즘에 분류명이 붙은 견본들을 제공해서 우리가 모형화하고자하는 주제를 알려줘야한다. ( 스팸 1 / 비스팸 0 ) Data Load # data load import pandas as pd from nlpia.data.loaders import get_d..

Conditional VAE (조건부 VAE) 조건부VAE(Conditional VAE)는 잠재 변수뿐만 아니라 레이블도 디코더에 입력하여 레이블을 지정하는 형태로 데이터를 생성한다. 필기체 숫자 이미지별로 가로와 세로의 잠재 변수 2개를 변화시키며 같은 숫자라도 필기체 숫자 이미지가 바뀌는 것을 알 수 있다. VAE는 보통 비지도학습이지만 지도학습 요소를 추가해 비지도 학습을 실행하면 복원할 데이터를 지정할 수 있다. β-VAE β-VAE는 이미지의 'disentanglement', 얽힌 것을 푸는 것이 특징이다. 이미지의 특징을 잠재 공간에서 분리하는 응용 기술이다. 예를 들어 얼굴 이미지는 첫 번쨰 잠재 변수에서 눈의 모양, 두 번째 잠재 변수에서 얼굴 방향의 특징을 담는다. 잠재 변수로 눈의 모양..