확률론 맛보기 기계학습에서 사용되는 loss function(cost function)은 데이터공간을 통계적으로 해석해서 유도하게됨 L2 norm은 회귀분석에서 예측오차의 분산을 가장 최소화하는 방향으로 학습한다. Cross-entropy는 분류문제에서 모델예측의 불확실성을 최소화하는 방향으로 학습한다. 원래 데이터의 확률분포가 이산형이더라도 결합분포를 연속형으로 할 수 있음확률변수 종류 확률변수는 분포 D에 의해 구분된다. 1) 이산형 확률변수 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해서 모델링함(질량함수) 연속하지 않는 값을 이용 \begin{equation} E(X)=\sum x f(x) \end{equation} 2) 연속형 확률변수 데이터 공간에 정의된 확률변수의 밀도위에서..
딥러닝에서 확률론이 필요한 이유 딥러닝은 확률론 기반의 기계학습 이론에 바탕을 두고있음 기계학습에서 사용되는 loss function의 작동원리는 데이터 공간을 통계적으로 해석해서 유도 회귀분석에서 손실함수로 사용되는 L2노름은 예측오차의 분산을 가장 최소화하는 방향으로 학습하도록 유도 분류 문제에서 사용되는 cross-entropy는 모델 예측의 불확실성을 최소화하는 방향으로 학습하도록 유도 분산 및 불확실성을 최소화하기 위해서는 측정하는 방법을 알아야함 확률분포 데이터공간을 X*Y라고 표기하고 D는 데이터공간에서 데이터를 추출하는 분포 데이터는 확률변수(x,y) ~ D라표기 확률변수 종류 확률변수의 분포의 종류(D)에 의해 구분 이산형확률변수 (discrete) 확률 변수가 가질 수 있는 경우의 수를..