mlp

2주차 MLP (Multi-Layer Perceptron)

MLP 여러개의 층으로 쌓으면 단순 행렬곱 연산이지만, 맵핑이 표현할 수 있는 표현력을 극대화하기위해 선형결합만을 n번 반복하는게 아니라 한번 선형결합이 반복될 때마다 activation function을 사용해서 non-linear transform을 거치고 다시 선형변환하고 non-linear transform을거친다. 이 반복을 m번 반복해서 더 표현력이 뛰어난 모델을 만든다. W와 b의 개선방법 위와 같은 데이터가 존재할 때, loss function을 w로 편미분 한 값을 현재 w에 적절한값(스텝사이즈, lr)을 곱해서 빼준다. bias도 마찬가지로 b로 편미분한 값을 현재 b에 lr을 곱해서 빼준다. setpsize는 에타 라는 기호를사용 *에타(ETA) : Η η