안녕, 세상!

CNN(Convolutional Neural Network)는 합성곱 신경망으로 이미지 인식과 음성 인식 등 다양한 곳에서 사용됩니다. 특히 이미지 딥러닝 분야에서 대부분 CNN이 사용됩니다. CNN은 고양이가 이미지를 인식하는데 이미지를 한 번에 인식하는 것이 아니라 이미지의 부분 부분을 바라보는 방식, 즉 입력을 나눠서 인식하는 방식에 유래하여 제안된 방식입니다. 완전 연결 계층의 문제점 이전까지 본 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있는 완전 연결(Fully Connetcted)라 하며 Affine 계층으로 구현을 했습니다. 완전 연결 계층에서는 인접하는 계층의 뉴런이 모두 연결되고 출력의 수는 임의로 정할 수 있었습니다. 하지만 문제점은 데이터의 형상이 무시된다는 점입니다. 입력 데이..

(1) 확률적 경사 하강법(SDG) 단점 이전에 가중치W에 대한 손실함수의 기울기를 통해 기울어진 방향으로 매개변수 값을 갱신하는 학습을 하는 방식을 SDG라고 합니다. SDG의 단점을 설명하기 이전에 기본 수식 및 코드를 복습하겠습니다. SDG의 수식은 다음과 같습니다. SDG를 class로 간략하게 표현하면 다음과 같습니다. 이를 동작 시키는 코드의 일부는 다음과 같습니다. (설명용으로 일부만 보여진 코드입니다.) optimizer 변수는 '최적화를 행하는 자'라는 의미를 가진 변수입니다. 여기서 그 역할을 SDG가 한다는 것입니다. SDG 단점 다음 예시 수식을 통해서 설명하겠습니다. 위 식을 그래프로 나타내면 다음과 같습니다. 그리고 위 함수의 기울기를 그려보면 다음과 같습니다. 이 함수의 최솟값..

수치 미분은 단순하고 구현하기 쉽지만 계산시간이 오래 걸린다는 단점이 있습니다. 이를 보완하기 위해서 효율적으로 계산할 수 있는 오차역전파법을 이용합니다. 오차역전파법을 풀어쓰면 '오차를 역(반대 방향)으로 전파하는 방법' 입니다. 오차역전파법을 이해하는 방식은 수식을 통한 방식, 계산 그래프로 이해하는 방식으로 두 가지가 있는데 계산 그래프를 이용해서 이해는 방식이 더 시각적이고 직관적이라 계산 그래프를 이용해서 설명하겠습니다. (1) 계산 그래프 계산 그래프는 계산 과정을 그래프로 나타낸 것입니다. 그래프는 노드(node)와 엣지(edge)로 표현됩니다. (노드 사이의 직선이 엣지) 계산 그래프에서 계산을 왼쪽에서 오른쪽으로 진행되는 계산을 순전파 라고 합니다. 반대로 오른쪽에서 왼쪽으로 진행되는 계..

(1) 신경망의 특징 신경망의 특징은 데이터를 보고 학습할 수 있다는 점입니다. 가중치 매개변수의 값을 데이터를 보고 자동으로 결정할 수 있습니다. 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾습니다. 신경망은 데이터를 '있는 그대로' 학습합니다. 따라서 기계를 학습시킬려면 데이터가 반드시 필요합니다. (2) 훈련데이터와 시험데이터 기계학습 문제는 데이터를 훈련데이터와 시험 데이터로 나눠 학습과 실험을 수행합니다. 훈련데이터와 시험 데이터를 나누는 이유는 범용적을 할 수 있는 모델을 얻기 위해서 입니다. 범용 능력은 아직 보지 못한 데이터로도 문제를 올바르게 풀어내는 능력입니다. 만들고자 하는 신경망은 특정 데이터만을 판단하는 것이 아니라 임의의 데이터를 판단하고 분류하는 것입니다. 그래서 데이..