안녕, 세상!

(1) 서버 개요 서버는 크게 다음과 같은 형태로 상호작용을 하여 구성이 되어 있습니다. 위와 같이 상호작용을 하면서 동작을 하는데 웹서버, 즉 서버의 특징은 3가지가 있습니다. 1. 클라이언트 : 서버 = n : 1 ( 클라이언트와 서버는 n대1관계) 2. 서버 : 서버 = n : 1 ( 서버 또한 특정 서버에 대해 n대1 관계가 될 수 있음, 고정이 아닌 가변적) 3. 상호작용하는 요소들에 의존하지 않고 스스로 처리할 수 있는 기능들을 가지고 있음 위의 요소들 중 대표적으로 apache / php / mysql을 같이 묶어서 종종 사용됩니다. 그래서 각각의 앞 글자를 따서 apm이라고 불립니다. (mysql이 mariaDB가 될 수도 있음) 또한 apm은 사용하는 운영체제 환경에 따라 다르게 불립니다..

(1) RNN 구현 구현해야 할 신경망은 가로 방향으로 성장한 신경망입니다. 이 가로 방향으로 성장하는 신경망을 '하나의 계층'으로 구현하면 다음과 같습니다. 위의 그림과 같이 상하 방향의 입출력을 하나로 묶으면 하나의 계층으로 볼 수 있습니다. Time RNN 계층 내에서 한 단계의 작업을 수행하는 계층을 'RNN 계층'이라고 하고, T개 단계분의 작업을 한꺼번에 처리하는 계층을 'Time RNN 계층'이라고 합니다. (시계열 데이터를 한꺼번에 처리하는 계층 앞에는 'Time'이라는 표현을 붙이겠음) ① RNN 구현 미니 배치를 적용한 RNN의 식은 다음과 같습니다. 이를 바탕으로 작성한 RNN 클래스의 코드는 다음과 같습니다. class RNN: def __init__(self, Wx, Wh, b):..

지금까지 살펴본 신경망은 피드 포워드(feed forward)라는 유형의 신경망입니다. feed forward란 흐름이 단방향인 신경망을 말합니다. feed forward 신경망은 구성이 단순하여 많은 문제에 응용할 수 있지만 시계열 데이터를 잘 다루지 못한다는 단점이 있습니다. 단순한 시계열 데이터의 성질을 단방향 신경망에서는 충분히 학습할 수 없습니다. 그래서 순환 신경망(Recurrent Neural Network)이 등장하게 됩니다. (1) 확률과 언어 모델 이전의 CBOW 모델의 맥락은 타깃을 중심으로 좌우 대칭으로 생각해왔었습니다. 이번에는 맥락을 왼쪽 윈도우만으로 한정해보겠습니다. 왼쪽 두 단어만을 맥락으로 생각하면 출력 확률은 다음과 같습니다. 앞서 CBOW 모델의 학습으로 수행하는 일은 ..

직전 설명에서 기존 word2vec을 개선하였습니다. (1) CBOW 모델 구현 앞 장에서 단순한 SimpleCBOW 클래스를 개선할 것입니다. 개선점은 Embedding 계층과 Negative Sampling Loss 계층을 적용하는 것입니다. 개선된 CBOW 모델 클래스 코드는 다음과 같습니다. #import sys #sys.path.append('..') #from common.np import * # import numpy as np #from common.layers import Embedding #from ch04.negative_sampling_layer import NegativeSamplingLoss class CBOW: def __init__(self, vocab_size, hidden..