Word Embedding과 Word2Vec

https://youtu.be/viZrOnJclY0

 

Word Embedding

- 단어를 인공 신경망 혹은 다른 머신러닝 알고리즘에 넣기 위해서는 단어를 숫자로 변환해야 함

- 비슷한 문맥에서 사용된 단어는 비슷한 숫자가 되도록 해야 함

- 같은 단어라도 다른 문맥에서 사용되면 먼 숫자가 되도록 해야 함

- Backpropagation을 이용하여 가중치 값 조정

 

 

 

Word2Vec

- 더 많은 문맥을 포함하도록 하는 Word Embedding 방법 중 하나

 

① Continuous Bag of Words : 주변 단어를 사용해서 중간 단어 예측

Troll 2, great를 통해 is 예측

 

② Skip Gram : 중간 단어를 사용해서 주변 단어 예측