Stacked1 Stacked RNN ◈ RNN의 모든 hidden state vector 사용하기 ✅ RNN 정리모든 hidden state vector 사용하기 ✔ 기존 RNN의 문제점 •일반적인 신경망의 은닉층은 한 번만 적용이 되지만, RNN 층은 이전 단계의 히든 벡터를 다시 입력받는 과정을 반복한다. 따라서, 입력 층에서 가까울수록 출력된 hidden state vector (h0, h1, h2 ....)의 정보가 적게 반영된다. 일반적인 텍스트 데이터는 문서의 앞 부분에 핵심적인 내용이 포함되어 있는 경우가 많기 때문에 일반 RNN을 사용하면 중요 정보를 제대로 학습하지 못할 수도 있다. 따라서 모든 단계의 hidden state vector의 정보를 모두 사용할 필요가 있다. ✅ Hidden state vector 결합 방법 .. 2022. 1. 19. 이전 1 다음
