likelihood (가능도, 우도) 이산 확률 분포에서는 확률 값이 가능도 이지만 연속 확률 분포에서는 확률 밀도 값이 가능도 이다. 우도는 딥러닝에서 주어진 데이터만으로 최적 모델 Θ(쎄타)를 찾아야한다. 입력값 X와 파라미터 Θ가 주어졌을때 정답 Y가 나타날 확률이다. 즉 지금 얻은 데이터가 이 분포로부터 나왔을 가능도를 말한다. 전체 표본집합의 결합확률밀도 함수를 likelihood function이라고 한다. \begin{equation} P(x \mid \theta)=\prod_{k=1}^{n} P\left(x_{k} \mid \theta\right) \end{equation} Projection을 계산하기 편하게 하위해 log를 취해준 log likelihood를 사용한다. \begin{eq..
선형회귀모델 \begin{equation} f(x)=wX+B \end{equation} $$ f'(x) = \lim_{x \rightarrow 0} \frac{f(x+h)-f(x)}{h} $$ Gradient Descent(경사하강법) 함수 값이 낮아지는 방향으로 독립 변수(W,B) 값을 변형시켜가면서 최종적으로는 최소 함수 값을 갖도록 하는 독립 변수 값을 찾는 방법이다. 함수의 최소, 최대값을 찾기위해 사용하는 방법으로 미분 계수가 0이 되는 지점을 찾는다. 하지만 함수의 형태가 복잡해서 정확히 0이되는 지점을 찾기는 불가능에 가까워서 0에 가까운 epsilon값을 사용 아래와 같이 w와 b를 개선해서 error가 최적의 w와 b를 구할 수 있다 w와 b에 대해서 각각 편미분을하고 학습 데이터의 개수..
원래는 매일 1일 1포스트를 하고싶었지만 수업을 따라가기가 너무 힘들어서...실패! 다음주부터는 1일 1포스팅 재도전! 개요 이 수업을 듣기전 Pre course를 전부 듣고 정리를 했다. U-stage에서 1일 1포스팅을 목표로 삼았지만 실패했다. 1주차의 시간은 비교적 자유로웠지만, 공부해야하는 양과 과제를 보면 자유가 아닌것같다. 슬기로운 부캠생활 부스트캠프에는 피어세션이라는 팀원들과 같이 소통하고 의견을 나누는 시간이 매일 존재한다. 5주동안 같이 공부할 팀원들을 처음 만나고, 인사를나눴다. 우리팀의 이름은 슬기로운 부캠생활로 정했다! 이제 1주차지만 벌써부터 도움을 많이 받았다. 나도 빨리 따라가서 도움이 되는 사람이 되고싶다. 다들 친절하시고 유쾌하신분들이여서 오프라인이였으면 정말 많이 친해질..
확률론 맛보기 기계학습에서 사용되는 loss function(cost function)은 데이터공간을 통계적으로 해석해서 유도하게됨 L2 norm은 회귀분석에서 예측오차의 분산을 가장 최소화하는 방향으로 학습한다. Cross-entropy는 분류문제에서 모델예측의 불확실성을 최소화하는 방향으로 학습한다. 원래 데이터의 확률분포가 이산형이더라도 결합분포를 연속형으로 할 수 있음확률변수 종류 확률변수는 분포 D에 의해 구분된다. 1) 이산형 확률변수 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해서 모델링함(질량함수) 연속하지 않는 값을 이용 \begin{equation} E(X)=\sum x f(x) \end{equation} 2) 연속형 확률변수 데이터 공간에 정의된 확률변수의 밀도위에서..
