2주차 Sequential Model - RNN

Sequential Model

• 몇개의 입력이(이미지, 단어)가 들어오더라도 작동해야함
• 입력이 몇개 들어왔을 때 다음값을 예측해본다
  \begin{equation}
  p\left(x_{t} \mid x_{t-1}, \ldots, x_{t-\tau}\right)
  \end{equation}

Markov Model (first-order auto regressive model)

• 위의 문제를 가장 간단하게 해결하는 모델
  

  

\begin{equation}
p\left(x_{1}, \ldots, x_{T}\right)=p\left(x_{T} \mid x_{T-1}\right) p\left(x_{T-1} \mid x_{T-2}\right) \cdots p\left(x_{2} \mid x_{1}\right) p\left(x_{1}\right)=\prod_{t=1}^{T} p\left(x_{t} \mid x_{t-1}\right)
\end{equation}
-> 단점: 과거의 많은 정보를 고려해야하지만 고려하지못한다.

Latent Autoregressive Model

• 중간에 hidden state를 사용함으로써 과거의 정보를 summarize한다.
  

  

RNN(Recurrent Neural Networ)

• RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보낸다.
  
• 가장 큰단점: short-term dependencies
  과거에 얻어진 정보들이 summarize 돼서 미래에서 보려고 할 때 RNN은 하나의 fixed role로 이 정보들을 계속 취합하기 때문에 먼 과거에 있던 정보가 미래까지 살아남기 힘들다
  ex) 질의응답할때 질문이 길어졌는데 앞서말한 중요한 정보를 기억하지 못하고 소실된다.
• RNN을 구하는 식은 xt-1에 w를 곱하고 prev data랑 concatenate해서 다시 weight를 곱하고 activation을 통과하여 output과 다음 네트워크의 prev로 전달하는 방식이다.
  

LSTM(Long Short Term Memory)

• RNN의 gradient vanishing 문제를 해결한다.
• LSTM은 RNN의 히든 state에 cell-state를 추가한 구조로 cell state는 일종의 컨베이어 벨트 역할을 한다.
• cell state를 사용함으로써 state가 꽤 오래 경과하더라도 그래디언트가 비교적 전파가 잘 된다.
  

  

• Forget Gate: 어떤정보를 버릴지 어떤것을 살릴지 정하는 Gate
• Input Gate: 이 정보들 중에 어떤정보를 올릴지 말지 정하는 Gate
  • i_t : 시그모이드를사용, prevstate와 현태 x_t를 받아서 계산
  • ~c_t : 현재정보와 이전 출력값을 갖고 만들어지는 cell state의 예비군이다.
• Update Cell : ~c_t * i_t로 올릴값을 정해서 t_t * C_t-1과 더한다
• Output Gate : h_t = O_t * tanh(c_t)
  

  

  
  

  

-> 이전까지 들어왔던 정보를 현재의 입력을 바탕으로 지울지, 현재의 입력을 바탕으로 어떤값을 새롭게 쓸지,
두 정보를 취합하게 하는 updatecell과 이 취합된 updatecell을 한번 더 조작해서 어떤값을 밖으로 빼낼지 정하는게 Output Gate다.

GRU(Gated Recurrent Unit)

• resetgate(forget gate)와 updategate가 있다
• 같은 task에 대해 LSTM보다 GRU의 성능이 좀 더 좋은경우가 많다 -> Parameter수가 더 적어서 그런것 같음