안녕, 세상!

CBOW 모델을 확률 관점에서 살펴보겠습니다. (1) CBOW 모델과 확률 확률 표기법 동시 확률 : P(A , B) - A와 B가 동시에 일어날 확률 사후 확률 : P(A | B) - B(라는 정보)가 주어졌을 때 A가 일어날 확률 말뭉치를 w1,w2, ... ,wr 처럼 단어로 표기한다면 특정 단어와 그 단어에 대한 윈도우 크기가 1인 맥락을 다음과 같이 표현할 수 있습니다. 그렇다면 W(t-1) 과 W(t+1)이 주어졌을 때 Wt의 확률은 다음과 같이 표현할 수 있습니다. 이 식을 이용하여 CBOW 모델의 손실함수를 나타낼 수 있습니다. 앞서 Cross-entropy를 사용했으므로 교차 엔트로피식으로 생각해보겠습니다. 교차 엔트로피 식은 과 같습니다. tk와 yk 모두 one-hot-encoding..

'추론 기반 기법'으로 단어를 분석하는데, 대표적인 신경망 모델인 word2vec을 사용합니다. 이번에는 처리 효율을 희생하지만 이해하기 쉽게 단순하게 word2vec을 구현해보겠습니다. (1) 추론 기반 기법과 신경망 단어를 벡터로 표현하는 방법 중 가장 성공적인 기법들을 크게 두 분류로 나눌 수 있습니다. '통계 기반'과 '추론 기반' 기법입니다. 단어의 의미를 얻는 방식은 서로 크게 다르지만, 그 배경에는 모두 분포 가설이 있습니다. 분포 가설이란, '단어의 의미는 주변 단어에 의해 형성된다'라는 가설입니다. 추론 기반 기법에서는 이를 추측 문제로 귀결시킵니다. 두 기법 모두 분포 가설에 근거하여 '단어의 동시발생 가능성'을 얼마나 잘 모델링하는가를 초점으로 맞추고 있습니다. ① 통계 기반 기법의 ..

(1) 클러스트링 (Clustering) 비지도 학습은 지도학습과는 다르게 입력 데이터들에 대한 정답 레이블이 없습니다. 따라서 입력 데이터들에 대한 특징들을 기반으로 연관성에 따라 정답 없이 분류를 해야 합니다. 즉, 클러스트링은 입력 데이터가 비슷한 것 끼리 클래스를 나누는 것입니다. 입력 데이터들이 넓은 범위로 흩어져 분포해 있을 것인데 데이터의 분포 모양을 클러스터(Cluster)라고 합니다. 데이터 분포에서 클러스터를 찾아, 동일한 클러스터에 속하는 데이터들은 같은 클래스로 분류하고 다른 클러스트에 속하는 데이터들은 다른 클래스를 할당하는 것이 클러스터링입니다. (2) K-means K-means 기법은 분류할 클러스터 수(K) 를 직접 정하고 클러스터 수 만큼의 중심 벡터(점)를 가지고 중심 ..

(1) 계산 고속화 신경망의 학습과 추론에 드는 연산량이 상당하기 때문에 신경망 고속화에 도움되는 '비트정밀도'와 'GPU'에 관해 가볍게 설명하겠습니다. ① 비트 정밀도 사용자의 환경에 따라 다르겠지만 넘파이의 부동소수점은 기본적으로 64비트 데이터타입을 사용합니다. 이와 같이 넘파이는 64비트 부동소수점 수를 표준으로 사용합니다. 그러나 신경망의 추론과 학습은 32비트 부동소수점 수로도 문제없이 수행할 수 있다고 합니다. 32비트가 64비트의 절반이므로 메모리 관점에서도 32비트가 좋다고 말할 수 있습니다. 또한 신경망 계산 시 데이터를 전송하는 버스 대역폭(bus bandwidth)이 병목이 되는 경우가 있어서 데이터타입이 작은것이 유리합니다. 계산속도 측면에서도 32비트 부동소수점 수가 일반적으로..