shine_hyun shine_hyun

Seq2Seq model Beam Search BLEU score Seq2Seq model Seq2Seq model 인풋으로 시퀀스 데이터를 받고, 아웃풋으로도 시퀀스를 전달하는 모델. ex > 번역 Seq2Seq using RNN families Encoder 와 Decoder 각각 다른 RNN model을 사용하여 학습한다. 단, Encoder의 마지막 hidden vector가 Decoder의 최초 hidden vector값으로 전달된다. 번역의 경우, decoder는 처음 시작을 뜻하는 start token, SOS 를 최초 입력한다. 그리고, 모델에서 아웃풋으로 end token EOS를 전달할때까지 진행한다. 한계는 당연히.. 긴 시퀀스를 학습시킬때는 RNN 계열의 문제점인 초기 time st..