목록분류 전체보기 (99)

안녕, 세상!

transformer

transformer은 워낙 유명한 모델이며 현재 다양한 분야에서 응용되어 사용되고 있습니다. 그리하여 기본적인 작동에 대한 설명이 잘 되어 있는 글은 정말 많습니다. 제 글은 transformer에서 특정 구조의 설계에 대한 이유, 무슨 의도로 다음과 같이 구성을 하였는지에 대한 설명을 중점으로 기술하였습니다. (1) Seq2seq의 한계와 attention의 발전 Attention seq to seq의 문제점은 context vector가 고정된 크기로 되었다는 것입니다. 입력 data의 문장의 길이와 상관없이 context vector가 고정되었다는 것은 긴 문장들의 경우에 과도하게 정보를 압축하게 되므로 정보의 손실이 발생되며 효율적이지 못한 방법입니다. 사람이 문장을 번역할 때 '어떤 단어'에 ..
It공부/Deep learning 2021. 6. 30. 11:34
5. 카카오톡 access token 받아오기

Spinrg boot에서 만약 외부 라이브러리를 추가하고 싶다면 gigas-blog.tistory.com/112 [Spring] Gradle 외부 Jar 등록 Spring Boot Project 를 만들면 Maven 이나 Gradle이 기본적으로 설치되어있습니다. 다양한 library 을 쉽고 간편하게 가져와서 쓸수 있지만 외부와의 통신을 허용하지 않는 개발 환경이 있기도 합니다. 이 gigas-blog.tistory.com 다음 블로그를 참조하여서 했음 해당 프로젝트에 특정 디렉토리에 내부에 다운로드 받은 외부 라이브러리 넣고 해당 경로를 기억해놓은 상태에서 build.gradle 파일 vim으로 열어서 implementation files('경로') 설정해주면 됨 만약 intellij에 외부라이브러리..
It공부/Server 2021. 3. 5. 18:48
WSL 사용 경험

웹은 Nginx, BL은 Spring-boot, RDS는 mysql을 이용하여 AWS EC2를 프리티어로 웹서버를 이용하고 RDS를 따로 만들어 데이터베이스를 구축하였습니다. 데이터베이스에 여러 데이터들이 있었고 해당 데이터들을 쿼리를 통해 Rest-api를 만드는 실습을 학습하고 있었습니다. EC2에 접속은 winscp를 이용하여 SSH 접속으로 해당 서버를 제어한 상태이었으며, spring-boot는 AWS EC2에서 백그라운드로 실행시켜주고 있었습니다. 그래서 spring-boot의 java코드를 수정하고 업로드 후 빌드 과정에서 중단 현상이 자주 발생했습니다. 이는 AWS의 프리티어가 코어 1개에 램 1G라서 성능이 좋지 않았기 때문이었습니다. 중단 현상이 자주 발생했을 때 Ctrl+c로 실행을 ..
It공부/Server 2021. 2. 24. 00:37
(2)-5-3 RnnLM 구현

(1) RNNLM 구현 구현할 RNNLM의 형태는 다음과 같습니다. 이를 코드로 나타내면 다음과 같습니다. #import sys #sys.path.append('..') import numpy as np #from common.time_layers import * class SimpleRnnlm: def __init__(self, vocab_size, wordvec_size, hidden_size): V, D, H = vocab_size, wordvec_size, hidden_size # wordvec_size는 입력벡터차원수(특정단어 분산표현) rn = np.random.randn # 가중치 초기화 embed_W = (rn(V, D) / 100).astype('f') rnn_Wx = (rn(D, H) ..
It공부/Deep learning 2021. 2. 10. 21:43
Prev 1 2 3 4 5 6 ··· 25 Next