안녕, 세상!

(1) 확률적 경사 하강법(SDG) 단점 이전에 가중치W에 대한 손실함수의 기울기를 통해 기울어진 방향으로 매개변수 값을 갱신하는 학습을 하는 방식을 SDG라고 합니다. SDG의 단점을 설명하기 이전에 기본 수식 및 코드를 복습하겠습니다. SDG의 수식은 다음과 같습니다. SDG를 class로 간략하게 표현하면 다음과 같습니다. 이를 동작 시키는 코드의 일부는 다음과 같습니다. (설명용으로 일부만 보여진 코드입니다.) optimizer 변수는 '최적화를 행하는 자'라는 의미를 가진 변수입니다. 여기서 그 역할을 SDG가 한다는 것입니다. SDG 단점 다음 예시 수식을 통해서 설명하겠습니다. 위 식을 그래프로 나타내면 다음과 같습니다. 그리고 위 함수의 기울기를 그려보면 다음과 같습니다. 이 함수의 최솟값..

수치 미분은 단순하고 구현하기 쉽지만 계산시간이 오래 걸린다는 단점이 있습니다. 이를 보완하기 위해서 효율적으로 계산할 수 있는 오차역전파법을 이용합니다. 오차역전파법을 풀어쓰면 '오차를 역(반대 방향)으로 전파하는 방법' 입니다. 오차역전파법을 이해하는 방식은 수식을 통한 방식, 계산 그래프로 이해하는 방식으로 두 가지가 있는데 계산 그래프를 이용해서 이해는 방식이 더 시각적이고 직관적이라 계산 그래프를 이용해서 설명하겠습니다. (1) 계산 그래프 계산 그래프는 계산 과정을 그래프로 나타낸 것입니다. 그래프는 노드(node)와 엣지(edge)로 표현됩니다. (노드 사이의 직선이 엣지) 계산 그래프에서 계산을 왼쪽에서 오른쪽으로 진행되는 계산을 순전파 라고 합니다. 반대로 오른쪽에서 왼쪽으로 진행되는 계..

(1) 신경망의 특징 신경망의 특징은 데이터를 보고 학습할 수 있다는 점입니다. 가중치 매개변수의 값을 데이터를 보고 자동으로 결정할 수 있습니다. 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾습니다. 신경망은 데이터를 '있는 그대로' 학습합니다. 따라서 기계를 학습시킬려면 데이터가 반드시 필요합니다. (2) 훈련데이터와 시험데이터 기계학습 문제는 데이터를 훈련데이터와 시험 데이터로 나눠 학습과 실험을 수행합니다. 훈련데이터와 시험 데이터를 나누는 이유는 범용적을 할 수 있는 모델을 얻기 위해서 입니다. 범용 능력은 아직 보지 못한 데이터로도 문제를 올바르게 풀어내는 능력입니다. 만들고자 하는 신경망은 특정 데이터만을 판단하는 것이 아니라 임의의 데이터를 판단하고 분류하는 것입니다. 그래서 데이..

손글씨 숫자 분류의 신경망 구조를 코드로 표현하려고 합니다. 이번엔 이미 학습된 매개변수를 사용해서 가중치 학습 과정은 생략하고, 추론 과정만 구현할 것입니다. 이 추론 과정을 신경망의 순전파(forward propagation) 라고도 합니다. 이 예에서 사용하는 데이터셋은 MNIST라는 손글씨 숫자 이미지 집합입니다. MNIST는 기계학습 분야에서 유명한 데이터셋으로, 간단한 실험부터 논문으로 발표되는 연구까지 다양한 곳에서 이용하고 있습니다. 손글씨 숫자의 훈련 이미지가 60000장, 시험이미지가 10000장 준비되어 있고 MNIST의 이미지 데이터는 28X28 크기의 이미지입니다. 이미지의 각 픽셀은 0에서 255까지 값을 취합니다. 각 이미지에는 그 이미지가 실제 의미하는 숫자가 레이블로 붙어 ..