안녕, 세상!

지금까지 살펴본 신경망은 피드 포워드(feed forward)라는 유형의 신경망입니다. feed forward란 흐름이 단방향인 신경망을 말합니다. feed forward 신경망은 구성이 단순하여 많은 문제에 응용할 수 있지만 시계열 데이터를 잘 다루지 못한다는 단점이 있습니다. 단순한 시계열 데이터의 성질을 단방향 신경망에서는 충분히 학습할 수 없습니다. 그래서 순환 신경망(Recurrent Neural Network)이 등장하게 됩니다. (1) 확률과 언어 모델 이전의 CBOW 모델의 맥락은 타깃을 중심으로 좌우 대칭으로 생각해왔었습니다. 이번에는 맥락을 왼쪽 윈도우만으로 한정해보겠습니다. 왼쪽 두 단어만을 맥락으로 생각하면 출력 확률은 다음과 같습니다. 앞서 CBOW 모델의 학습으로 수행하는 일은 ..