shine_hyun shine_hyun

Self attention model Transformer model Self attention model 어텐션모델은 여기서 :) self attention model Seq2Seq model을 생각해보자. 여기서 attention model을 이용할 때, encoder,decoder hidden vector는 RNN계열로 구하고, decoder에서 ouput을 구할 때만 attention model을 사용했다. 여기서, RNN을 이용한 부분을 싹- 빼고, only attention model만을 사용해보자. 그럼 드는 생각 "아니 그럼, hidden vector를 어떻게 구해?" hidden vector를 구하기 위해 self attention model에서는 모든 embedding vector(wo..

Seq2Seq model Beam Search BLEU score Seq2Seq model Seq2Seq model 인풋으로 시퀀스 데이터를 받고, 아웃풋으로도 시퀀스를 전달하는 모델. ex > 번역 Seq2Seq using RNN families Encoder 와 Decoder 각각 다른 RNN model을 사용하여 학습한다. 단, Encoder의 마지막 hidden vector가 Decoder의 최초 hidden vector값으로 전달된다. 번역의 경우, decoder는 처음 시작을 뜻하는 start token, SOS 를 최초 입력한다. 그리고, 모델에서 아웃풋으로 end token EOS를 전달할때까지 진행한다. 한계는 당연히.. 긴 시퀀스를 학습시킬때는 RNN 계열의 문제점인 초기 time st..