안녕, 세상!

(1) 계산 고속화 신경망의 학습과 추론에 드는 연산량이 상당하기 때문에 신경망 고속화에 도움되는 '비트정밀도'와 'GPU'에 관해 가볍게 설명하겠습니다. ① 비트 정밀도 사용자의 환경에 따라 다르겠지만 넘파이의 부동소수점은 기본적으로 64비트 데이터타입을 사용합니다. 이와 같이 넘파이는 64비트 부동소수점 수를 표준으로 사용합니다. 그러나 신경망의 추론과 학습은 32비트 부동소수점 수로도 문제없이 수행할 수 있다고 합니다. 32비트가 64비트의 절반이므로 메모리 관점에서도 32비트가 좋다고 말할 수 있습니다. 또한 신경망 계산 시 데이터를 전송하는 버스 대역폭(bus bandwidth)이 병목이 되는 경우가 있어서 데이터타입이 작은것이 유리합니다. 계산속도 측면에서도 32비트 부동소수점 수가 일반적으로..

CNN(Convolutional Neural Network)는 합성곱 신경망으로 이미지 인식과 음성 인식 등 다양한 곳에서 사용됩니다. 특히 이미지 딥러닝 분야에서 대부분 CNN이 사용됩니다. CNN은 고양이가 이미지를 인식하는데 이미지를 한 번에 인식하는 것이 아니라 이미지의 부분 부분을 바라보는 방식, 즉 입력을 나눠서 인식하는 방식에 유래하여 제안된 방식입니다. 완전 연결 계층의 문제점 이전까지 본 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있는 완전 연결(Fully Connetcted)라 하며 Affine 계층으로 구현을 했습니다. 완전 연결 계층에서는 인접하는 계층의 뉴런이 모두 연결되고 출력의 수는 임의로 정할 수 있었습니다. 하지만 문제점은 데이터의 형상이 무시된다는 점입니다. 입력 데이..

(1) 확률적 경사 하강법(SDG) 단점 이전에 가중치W에 대한 손실함수의 기울기를 통해 기울어진 방향으로 매개변수 값을 갱신하는 학습을 하는 방식을 SDG라고 합니다. SDG의 단점을 설명하기 이전에 기본 수식 및 코드를 복습하겠습니다. SDG의 수식은 다음과 같습니다. SDG를 class로 간략하게 표현하면 다음과 같습니다. 이를 동작 시키는 코드의 일부는 다음과 같습니다. (설명용으로 일부만 보여진 코드입니다.) optimizer 변수는 '최적화를 행하는 자'라는 의미를 가진 변수입니다. 여기서 그 역할을 SDG가 한다는 것입니다. SDG 단점 다음 예시 수식을 통해서 설명하겠습니다. 위 식을 그래프로 나타내면 다음과 같습니다. 그리고 위 함수의 기울기를 그려보면 다음과 같습니다. 이 함수의 최솟값..

수치 미분은 단순하고 구현하기 쉽지만 계산시간이 오래 걸린다는 단점이 있습니다. 이를 보완하기 위해서 효율적으로 계산할 수 있는 오차역전파법을 이용합니다. 오차역전파법을 풀어쓰면 '오차를 역(반대 방향)으로 전파하는 방법' 입니다. 오차역전파법을 이해하는 방식은 수식을 통한 방식, 계산 그래프로 이해하는 방식으로 두 가지가 있는데 계산 그래프를 이용해서 이해는 방식이 더 시각적이고 직관적이라 계산 그래프를 이용해서 설명하겠습니다. (1) 계산 그래프 계산 그래프는 계산 과정을 그래프로 나타낸 것입니다. 그래프는 노드(node)와 엣지(edge)로 표현됩니다. (노드 사이의 직선이 엣지) 계산 그래프에서 계산을 왼쪽에서 오른쪽으로 진행되는 계산을 순전파 라고 합니다. 반대로 오른쪽에서 왼쪽으로 진행되는 계..