bidirectionl lstm1 LSTM, Bidirectional LSTM 📚 LSTM 개념 설명 ✅ RNN의 문제점 ✔ Problem of long term dependency (장기의존문제) 입력된 문서에서 상대적으로 초반부에 등장하는 단어들의 정보가 제대로 반영되지 않는다. 즉, 마지막 time step에 대한 RNN층의 출력 hidden state만 다음 층으로 전달하게 되면 앞쪽 RNN층의 정보를 잘 학습하지 못한다. ✅ LSTM (Long Short Term Memory) 기본적인 작동 원리는 RNN과 동일하다 즉, 현재 time step인 t에서 단어 t에 대한 벡터 정보(xt)와 이전 은닉층에서 전달하는 hidden state 정보를 담고 있는 벡터 ht-1를 같이 입력받는다. RNN이 가지는 장기의존문제를 개선하기 위해서 LSTM은 기억 셀(memory cell.. 2022. 1. 19. 이전 1 다음
