Word2vec Vs GloVe

 word2vec은 NLP에 혁신을 가져왔지만 반드시 역전파를 이용해 훈련을 해야한다는 신경망 의존이 크다. 이를 스탠퍼드 연구팀은 SVD를 적용해 word2vec으로 산출한 것과 동일한 두개의 가중치 행렬을 통해 역전파 수렴이 불가능한 경우를 발견 했다. 이를 해결하기 위해 Glove 전역에 대한 단어 공동 출현 빈도를 최적화 시켜 해결했다.  Word2vec이 큰 말뭉치를 대상으로만 훈련이 가능한 반면 Glove는 더 작은 말뭉치로도 훈련이 가능하다.

  GloVe의 장점

• 훈련이 빠르다.
• RAM과 CPU 효울성이 좋다.
• 적은 말뭉치도 활용이 가능하다.
• 같은 훈련 자료로 훈련했을 떄 word2vec 보다 더 정확한 결과를 제공한다.