안녕, 세상!

CBOW 모델을 확률 관점에서 살펴보겠습니다. (1) CBOW 모델과 확률 확률 표기법 동시 확률 : P(A , B) - A와 B가 동시에 일어날 확률 사후 확률 : P(A | B) - B(라는 정보)가 주어졌을 때 A가 일어날 확률 말뭉치를 w1,w2, ... ,wr 처럼 단어로 표기한다면 특정 단어와 그 단어에 대한 윈도우 크기가 1인 맥락을 다음과 같이 표현할 수 있습니다. 그렇다면 W(t-1) 과 W(t+1)이 주어졌을 때 Wt의 확률은 다음과 같이 표현할 수 있습니다. 이 식을 이용하여 CBOW 모델의 손실함수를 나타낼 수 있습니다. 앞서 Cross-entropy를 사용했으므로 교차 엔트로피식으로 생각해보겠습니다. 교차 엔트로피 식은 과 같습니다. tk와 yk 모두 one-hot-encoding..