shine_hyun shine_hyun

RNN LSTM GRU RNN RNN Seqeuential data를 처리할 때, 과거의 정보를 다음 input과 함께 전달하는 모델. 모든 time step에서 같은 parameter(weight)를 공유한다는 특징이 있다. 다음과 같이 fW라는 함수는 weight W를 갖는다. 이 W 는 ht-1 벡터에 대한 weight Whh, xt벡터에 대한 weight Wxh로 이루어져있다. 또한, 이렇게 만들어진 ht를 output 으로 만들어주는 Why도 존재한다. 여기서 핵심은 이 Whh,Wxh,Why를 모든 time step에서 공유한다는 것이다. RNN families backpropagation (BPTT) 그렇다면, 어떻게 backpropagation을 진행해 학습할까? BPTT (backpropa..