LSTM(Long Short-Term Memory) - 장단기 메모리

A. why

 - RNN의 기울기 소실 문제(vanishing gradient problem) 개선

B. Keyword

 - RNN, 기울기 소실, 장기의존성문제, Cell State, Input, Forget, Output, GRU[Reset, Update]

 

1. 개요

가.개념

순환 신경망(RNN) 기법의 하나로 기존 순환 신경망(RNN)의 문제인

기울기 소멸 문제(vanishing gradient problem)를 방지한 신경망 기법

 

나.특징

 - RNN 문제점 개선

 - 높은 효율성

 - 워드임베딩, 자연어 학습, 상황인식 

 

2.LSTM 구성도 및 메커니즘 산식

가. LSTM 구성도

 

 

나. LSTM 메커니즘 산식

 

3. LSTM 개선모델, GRU(Gated Recrurent Unit)

- 학습 파라미터 감소 

- 2개의 Gate 사용 (Reset, Update)