likelihood (가능도, 우도) 이산 확률 분포에서는 확률 값이 가능도 이지만 연속 확률 분포에서는 확률 밀도 값이 가능도 이다. 우도는 딥러닝에서 주어진 데이터만으로 최적 모델 Θ(쎄타)를 찾아야한다. 입력값 X와 파라미터 Θ가 주어졌을때 정답 Y가 나타날 확률이다. 즉 지금 얻은 데이터가 이 분포로부터 나왔을 가능도를 말한다. 전체 표본집합의 결합확률밀도 함수를 likelihood function이라고 한다. \begin{equation} P(x \mid \theta)=\prod_{k=1}^{n} P\left(x_{k} \mid \theta\right) \end{equation} Projection을 계산하기 편하게 하위해 log를 취해준 log likelihood를 사용한다. \begin{eq..
Maximum Likelyhood Estimation(MLE) 최대 가능도(우도) 추정 압정을 땅에 던졌을때 납작한부분이 바닥으로 떨어지는 (class1) 위로 떨어지는 (class2)가 존재 베르누이 분포 (매 시행마다 오직 두 가지의 가능한 결과만 일어난다고 할 때, 이러한 실험을 1회 시행하여 일어난 두 가지 결과에 의해 그 값이 각각 0과 1로 결정되는 확률변수 X에 대해서 를 만족하는 확률변수 X가 따르는 확률분포를 의미하며, 이항 분포의 특수한 사례에 속한다.) n = 100 k = 27 (class1의 횟수) -> n,k는 observation 압정외 확률분포를 결정하는 쎄타를 구해야함 likelyhood가 맥시멈값이 되는곳을 찾는다 Y값이 최대가 되는 지점을 찾아보니 쎄타는 0.27이된다 ..
모수 통계적 모델링은 적절한 가정 위에서 확률분포를 추정(inference)하는 것이 목표이며 기계학습과 통계학이 공통적으로 추구하는 목표 그러나 유안한 개수의 데이터만 관찰해서 모집단의 분포를 정확하게 알아낸다는 것은 불가능하므로, 근사적으로 확률 분포를 추정할 수 밖에없음 예측모형의 목적은 분포를 정확하게 맞추는 것보다는 데이터와 추정방법의 불확실성을 고려해서 위험을 최소화하는 것 데이터가 특정 확률분포를 따른다고 선험적으로(a priori) 가정한 후 그 분포를 결정하는 모수(parameter)를 추정하는 방법을 모수적(par 방법론이라고함 정규분포의 확률분포를 모델링한다면 정규분포의 모수로는 평균,분산이 있음, 평균과 분산을 추정하는 방법을 통해서 데이터를 학습하는 방법을 모수적 방법이라함 특정 ..
