2주차 딥러닝에서 사용되는 용어

좋은 Deeplearner의 기준

1. 구현스킬: Pytorch, Tensorflow
2. Math skills: 선형대수학, 확률과 통계
3. knowing a lot of recent papers: 논문

AI, 머신러닝, 딥러닝

• Articicial Inteligence: 인간의 지능을 모방
• Machine Learning: Data Driven Approach
• Deep Learning: Neural Network
  

  

CV(computer vision)에서 풀고자 하는 문제

• Classification: 이미지가 주어졌을 때 이 이미지가 어떤 라벨을 갖고있는지
• Semantic Segmentation: 이미지의 픽셀별로 이픽셀이 어떤 class에 속하는지
• Detection: 문제에 대한 bounding box를 그려줌
• Pose Estimation: 이미지에있는 사람의 2차원, 3차원 스켈레톤 정보를 알아냄
• Visual QnA: 이미지를 주고 이미지에대한 질의에대해서 응답을 함
  

  

Deeplearning의 핵심

• Data
• Model
  • 같은 문제를 풀때 모델의 성질에 따라서 결과가 다를 수 있다.
    

    

• Loss Function
  • Regression Task: MSE(Mean Squared Error)를 주로사용
  • Classification: Cross Entropy (출력값과 라벨데이터사이의 크로스엔트로피를 최소화)
  • Probabilistic Task(확률적인 모델의 출력값을 평균, 분산, 가우시안으로 할때): MLE(Maximum Likeli hood)
• Algorithm (Optimizer)
  • loss function을 단순히 무식하게 줄이는게 목적이 아니라 학습하지않은 데이터에서 잘 동작하게 하는 목적이 있다.
    

    

    
    

    

• optimizer에서 다양한 테크닉들을 활용함
  • Dropout
  • Early Stopping
  • K-fold Validation
  • Weight Decay
  • Batch Normalization
  • Mix Up
  • Ensemble
  • Bayesian Optimization