shine_hyun shine_hyun

Self attention model Transformer model Self attention model 어텐션모델은 여기서 :) self attention model Seq2Seq model을 생각해보자. 여기서 attention model을 이용할 때, encoder,decoder hidden vector는 RNN계열로 구하고, decoder에서 ouput을 구할 때만 attention model을 사용했다. 여기서, RNN을 이용한 부분을 싹- 빼고, only attention model만을 사용해보자. 그럼 드는 생각 "아니 그럼, hidden vector를 어떻게 구해?" hidden vector를 구하기 위해 self attention model에서는 모든 embedding vector(wo..