부스트캠프 AI Tech 2기/2기 U-Stage
1주차 Gradient Descent, Stochastic gradient descent
선형회귀모델 \begin{equation} f(x)=wX+B \end{equation} $$ f'(x) = \lim_{x \rightarrow 0} \frac{f(x+h)-f(x)}{h} $$ Gradient Descent(경사하강법) 함수 값이 낮아지는 방향으로 독립 변수(W,B) 값을 변형시켜가면서 최종적으로는 최소 함수 값을 갖도록 하는 독립 변수 값을 찾는 방법이다. 함수의 최소, 최대값을 찾기위해 사용하는 방법으로 미분 계수가 0이 되는 지점을 찾는다. 하지만 함수의 형태가 복잡해서 정확히 0이되는 지점을 찾기는 불가능에 가까워서 0에 가까운 epsilon값을 사용 아래와 같이 w와 b를 개선해서 error가 최적의 w와 b를 구할 수 있다 w와 b에 대해서 각각 편미분을하고 학습 데이터의 개수..
