[Word2Vec] 연속 단어 모음

  연속 단어 모음 접근 방식

 연속 단어 모음(CBOW) 접근 방식에서는 주어진 단어들에 기초해서 그 중심 단어를 예측한다. 따라서 하나의 훈련 견본은 하나의 입력 단어와 다수의 출력 단어들이 아니라 다수의 주변 단어들과 하나의 중심 단어로 구성된다. 다수의 주변 단어들은 멀티핫 벡터로 표현한다. 이 멀티핫 벡터는 주변 단어들의 원핫 벡터들을 모두 합한 것이다.

painted가 기대출력일 때

  $W_{t-2}$ = Claude
  $W_{t-1}$ = Monet
  $W_{t}$ = painted
  $W_{t+1}$ = the
  $W_{t+2}$ = Grand

문서를 토큰화해서 얻은 주변 단어 멀티핫 벡터와 목표 단어 원핫 벡터의 쌍들로 이루어진 훈련 자료 집합으로 신경망을 훈련한다. 즉 목표 단어 $w_t$의 원핫 벡터를 신경망의 기대 출력으로 두고 그 주변 단어 $w_{t-2}$, $w_{t-1}$, $w_{t+1}$, $w_{t+2}$의 멀티핫 벡터를 입력으로 두어서 신경망의 순전파 단계를 진행한다. 스킵 그램처럼 출력층은 소프트맥스를 이용해서 각 단어의 확률을 계산하고, 확률이 가장 높은 단어의 원핫 벡터를 출력한다. 

  사용 용도

ㅇ말뭉치가 작을 때 그리고 자주 쓰이지 않는 단어들이 주어 졌을 때 스킵 그램이 잘 작동한다. 
ㅇ연속 단어 모음 접근 방식은 자주 쓰이는 단어들에 대해 정확도가 높으며 훈련이 훨씬 더 빠르다.