3주차 Hyper parameter Tuning

Hyper parameter

모델 스스로 학습하지 않고 학습을할때 사람이 지정해야하는 Parameter
ex_ learning rate(NAS), optimizer, 모델의 크기
하이퍼파라미터에 의해 값이 크게 좌우됐지만 요즘은 그닥 마지막 0.01을 쥐어짜야할 때 도전

결과가 잘안나오면

1. 모델을 변경
2. 데이터를 변경 혹은 추가 혹은 점검
3. hyper parameter tuning

-> 이 중 데이터가 가장 중요하다
왜냐하면 이미 좋은 모델이 뭔지 알고있다
하이퍼파라미터 튜닝은 마른 수건도 물이 떨어지는지 꽉 짜보자

하이퍼 파라미터 튜닝에 가장 기본적인 방법

• grid search: 2배수 등 규칙적으로 하나씩 찾아본다
• random search: 큰 스페이스에서 아무거나 랜덤으로 추출해서 사용해본다
  => 예전에는 위의 방식으로 썼었음
• 하지만 요즘은 베이지안 기법 기반들이 주도하는중 (BOHB)

Ray

• multi-node mutl processing 지원 모듈
• ML/DL의 병렬 처리를 위해 개발된 모듈
• 파이썬의 병렬처리도 Ray를 사용하는 경우가 많음
• Hyperparameter Search를 위한 다양한 도구를 제공해줌

• ASHA라는 알고리즘을 사용

Hyper Parameter는 다 끝내서 성능이 어느정도 나온다음에 쥐어짜는 느낌으로 사용하자
데이터가 가장중요하다