안녕, 세상!

CNN(Convolutional Neural Network)는 합성곱 신경망으로 이미지 인식과 음성 인식 등 다양한 곳에서 사용됩니다. 특히 이미지 딥러닝 분야에서 대부분 CNN이 사용됩니다. CNN은 고양이가 이미지를 인식하는데 이미지를 한 번에 인식하는 것이 아니라 이미지의 부분 부분을 바라보는 방식, 즉 입력을 나눠서 인식하는 방식에 유래하여 제안된 방식입니다. 완전 연결 계층의 문제점 이전까지 본 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있는 완전 연결(Fully Connetcted)라 하며 Affine 계층으로 구현을 했습니다. 완전 연결 계층에서는 인접하는 계층의 뉴런이 모두 연결되고 출력의 수는 임의로 정할 수 있었습니다. 하지만 문제점은 데이터의 형상이 무시된다는 점입니다. 입력 데이..

(1) 확률적 경사 하강법(SDG) 단점 이전에 가중치W에 대한 손실함수의 기울기를 통해 기울어진 방향으로 매개변수 값을 갱신하는 학습을 하는 방식을 SDG라고 합니다. SDG의 단점을 설명하기 이전에 기본 수식 및 코드를 복습하겠습니다. SDG의 수식은 다음과 같습니다. SDG를 class로 간략하게 표현하면 다음과 같습니다. 이를 동작 시키는 코드의 일부는 다음과 같습니다. (설명용으로 일부만 보여진 코드입니다.) optimizer 변수는 '최적화를 행하는 자'라는 의미를 가진 변수입니다. 여기서 그 역할을 SDG가 한다는 것입니다. SDG 단점 다음 예시 수식을 통해서 설명하겠습니다. 위 식을 그래프로 나타내면 다음과 같습니다. 그리고 위 함수의 기울기를 그려보면 다음과 같습니다. 이 함수의 최솟값..

(1) 신경망의 특징 신경망의 특징은 데이터를 보고 학습할 수 있다는 점입니다. 가중치 매개변수의 값을 데이터를 보고 자동으로 결정할 수 있습니다. 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾습니다. 신경망은 데이터를 '있는 그대로' 학습합니다. 따라서 기계를 학습시킬려면 데이터가 반드시 필요합니다. (2) 훈련데이터와 시험데이터 기계학습 문제는 데이터를 훈련데이터와 시험 데이터로 나눠 학습과 실험을 수행합니다. 훈련데이터와 시험 데이터를 나누는 이유는 범용적을 할 수 있는 모델을 얻기 위해서 입니다. 범용 능력은 아직 보지 못한 데이터로도 문제를 올바르게 풀어내는 능력입니다. 만들고자 하는 신경망은 특정 데이터만을 판단하는 것이 아니라 임의의 데이터를 판단하고 분류하는 것입니다. 그래서 데이..

손글씨 숫자 분류의 신경망 구조를 코드로 표현하려고 합니다. 이번엔 이미 학습된 매개변수를 사용해서 가중치 학습 과정은 생략하고, 추론 과정만 구현할 것입니다. 이 추론 과정을 신경망의 순전파(forward propagation) 라고도 합니다. 이 예에서 사용하는 데이터셋은 MNIST라는 손글씨 숫자 이미지 집합입니다. MNIST는 기계학습 분야에서 유명한 데이터셋으로, 간단한 실험부터 논문으로 발표되는 연구까지 다양한 곳에서 이용하고 있습니다. 손글씨 숫자의 훈련 이미지가 60000장, 시험이미지가 10000장 준비되어 있고 MNIST의 이미지 데이터는 28X28 크기의 이미지입니다. 이미지의 각 픽셀은 0에서 255까지 값을 취합니다. 각 이미지에는 그 이미지가 실제 의미하는 숫자가 레이블로 붙어 ..