안녕, 세상!

앞서 SVD(Singular Value Decomposition) 특이값 분해를 이용해서 차원 축소를 사용하였습니다. 하지만 이 차원 축소를 사용하는데 왜 U의 일부만 사용하는지 의미하는 바가 무엇인지 설명이 부족하였습니다. 이번에는 SVD 자체에 대해서는 깊게 다루지 않고 전반적인 의미를 해석하는 식으로 SVD를 이용한 차원 축소에 초점을 맞춰서 이야기를 해보겠습니다. (1) Singular Value Decomposition 우선 SVD의 식은 다음과 같습니다. X는 Original 데이터를 의미하고, U와 V는 Orthogonal matrix(직교 행렬)이며, S는 Diagonal matrix(대각 행렬)입니다. (2) Principal Component Analysis 차원 축소는 크게 다음과 같..

(1) 자연어 처리 (Natural Language Processing) 자연어 : 우리가 평소에 쓰는 말 일반적인 프로그래밍 언어는 기계적이고 고정되어 있습니다. 반면, 자연어는 똑같은 의미의 문장도 여러 형태로 표현할 수 있거나, 문장의 뜻이 애매할 수도 있고, 의미나 형태가 유연하게 바뀌는 부드러운 언어입니다. 자연어 처리는 우리의 말을 컴퓨터에게 이해시키기 위한 기술입니다. 우리의 말은 문자로 구성되며 말의 의미는 단어로 구성됩니다. 컴퓨터한테 단어의 의미를 잘 파악하는 표현 방법은 시소러스, 통계 기반 기법, 추론 기반 기법 등 있습니다. (2) 시소러스 사전이 단어의 각각 의미를 설명하는 것과 같이 사람이 직접 단어의 의미를 정의하는 방식을 사용하는 방법입니다. 이를 유의어로 통해 컴퓨터에게 ..

(1) 계산 고속화 신경망의 학습과 추론에 드는 연산량이 상당하기 때문에 신경망 고속화에 도움되는 '비트정밀도'와 'GPU'에 관해 가볍게 설명하겠습니다. ① 비트 정밀도 사용자의 환경에 따라 다르겠지만 넘파이의 부동소수점은 기본적으로 64비트 데이터타입을 사용합니다. 이와 같이 넘파이는 64비트 부동소수점 수를 표준으로 사용합니다. 그러나 신경망의 추론과 학습은 32비트 부동소수점 수로도 문제없이 수행할 수 있다고 합니다. 32비트가 64비트의 절반이므로 메모리 관점에서도 32비트가 좋다고 말할 수 있습니다. 또한 신경망 계산 시 데이터를 전송하는 버스 대역폭(bus bandwidth)이 병목이 되는 경우가 있어서 데이터타입이 작은것이 유리합니다. 계산속도 측면에서도 32비트 부동소수점 수가 일반적으로..

CNN(Convolutional Neural Network)는 합성곱 신경망으로 이미지 인식과 음성 인식 등 다양한 곳에서 사용됩니다. 특히 이미지 딥러닝 분야에서 대부분 CNN이 사용됩니다. CNN은 고양이가 이미지를 인식하는데 이미지를 한 번에 인식하는 것이 아니라 이미지의 부분 부분을 바라보는 방식, 즉 입력을 나눠서 인식하는 방식에 유래하여 제안된 방식입니다. 완전 연결 계층의 문제점 이전까지 본 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있는 완전 연결(Fully Connetcted)라 하며 Affine 계층으로 구현을 했습니다. 완전 연결 계층에서는 인접하는 계층의 뉴런이 모두 연결되고 출력의 수는 임의로 정할 수 있었습니다. 하지만 문제점은 데이터의 형상이 무시된다는 점입니다. 입력 데이..