안녕, 세상!

transformer은 워낙 유명한 모델이며 현재 다양한 분야에서 응용되어 사용되고 있습니다. 그리하여 기본적인 작동에 대한 설명이 잘 되어 있는 글은 정말 많습니다. 제 글은 transformer에서 특정 구조의 설계에 대한 이유, 무슨 의도로 다음과 같이 구성을 하였는지에 대한 설명을 중점으로 기술하였습니다. (1) Seq2seq의 한계와 attention의 발전 Attention seq to seq의 문제점은 context vector가 고정된 크기로 되었다는 것입니다. 입력 data의 문장의 길이와 상관없이 context vector가 고정되었다는 것은 긴 문장들의 경우에 과도하게 정보를 압축하게 되므로 정보의 손실이 발생되며 효율적이지 못한 방법입니다. 사람이 문장을 번역할 때 '어떤 단어'에 ..