반응형
기울기소실
-
LSTM(Long Short-Term Memory) - 장단기 메모리AI&알고리즘 2022. 3. 29. 15:43
A. why - RNN의 기울기 소실 문제(vanishing gradient problem) 개선 B. Keyword - RNN, 기울기 소실, 장기의존성문제, Cell State, Input, Forget, Output, GRU[Reset, Update] 1. 개요 가.개념 순환 신경망(RNN) 기법의 하나로 기존 순환 신경망(RNN)의 문제인 기울기 소멸 문제(vanishing gradient problem)를 방지한 신경망 기법 나.특징 - RNN 문제점 개선 - 높은 효율성 - 워드임베딩, 자연어 학습, 상황인식 2.LSTM 구성도 및 메커니즘 산식 가. LSTM 구성도 나. LSTM 메커니즘 산식 3. LSTM 개선모델, GRU(Gated Recrurent Unit) - 학습 파라미터 감소 - ..