안녕, 세상!

앞서 구현한 간단한 CBOW 모델은 말뭉치에 포함된 어휘 수가 많아지면 계산량도 커져서 시간이 너무 오래 걸립니다. 이를 위해 두 가지 개선을 합니다. 1. Embedding이라는 새로운 계층을 도입합니다. 2. 네거티브 샘플링이라는 새로운 손실 함수를 도입합니다. 이 두 가지 개선으로 진정한 word2vec을 구현할 수 있습니다. (1) word2vec 개선 1 앞에서 사용한 간단한 CBOW 모델을 이용하여 말뭉치에 어휘가 100만 개라고 가정한다면 입력층과 출력층에 각 100만 개의 뉴런들이 존재합니다. 이러한 많은 뉴런 때문에 중간 계산에 많은 시간이 소요됩니다. 구체적으로 다음 두 부분에서 병목현상이 발생합니다. 1. 입력층의 원핫 표현과 가중치 행렬 W(in)의 곱 2. 은닉층과 가중치 행렬 W..