프로젝트 주제 성별(남,여), 마스크착용(착용, 미착용, 대충착용), 연령대(30세 이하, 31세~59세, 60세 이상) 18개의 class를 classification 하자 프로젝트에 사용된 기술 Pytorch WandB Data Augmentation: TTA (TestTimeAugmentation) face recognition k-fold cutmix soft ensemble Multi-Class Model Concatenation 사용한 모델 Rexnet Efficientnet Regnety 진행 요약 1주차 첫주차때는 개인전으로 개인이 직접 Zero base부터 구성하는 작업을 했다. 이 기간을 나는 파이토치에 대한 감을 잡는 시간으로 활용했다. EDA를 통해 데이터가 어떻게 분포되어있고 활용..
지금날의 딥러닝은 많은 데이터를 계산시기키 위한 GPU가 많이 필요하다. 개념정리 Single GPU vs Multi GPU 1개의 GPU vs 2개이상의 GPU GPU vs Node Node는 1대의 컴퓨터를 이야기한다. ex_ 1대의 Node안에있는 1대의 GPU를 사용한다. Single Node Single GPU Single Node Multi GPU 한대의 컴퓨터에 여러대의 GPU Multi Node Multi GPU ex_ 서버실 Model parallel 다중 GPU에 학습을 분산하는방법 모델 나누기 - AlexNet도 이 방법을 사용 - 모델의 병목현상이 발생할 수 있다. - 고난이도 과제임 모델 병렬화의 문제점 위의 그림은 병렬화를 하는 의미가 없다 아래 그림처럼 파이프라인을(배치코드를)..
초기단계에서는 대화식 개발과정이 유리하다 -> 학습과정과 디버깅 등 지속적인 확인이 가능하기 때문 하지만 배포 및 공유 단계에선 노트북으로 공유하면 재현등이 어렵다. 그래서 OOP + 모듈을 사용하여 프로젝트단위로 진행한다. github 템플릿을 사용해보자! 모듈구성 git clone https://github.com/victoresque/pytorch-template cd pytorch-template ## 해당 명령어로 같은 구조를가진 MyProject 폴더를 생성 python new_project.py MyProject cd MyProject python train.py -c config.json
많은 딥러닝 프레임워크가 있었지만 Facebook의 PyTorch와 Google의 Tensorflow가 리더로 자리잡았다. Pytorch와 Tensorflow의 가장 큰 차이점 Pytorch Dynamic Graph backward propagation을 쓸 때 autograd(자동미분)를 할 때 실행시점에서 그래프를 정의한다. computational_graph Define by Run 실행하면서 그래프를 생성한다. 즉시확인(디버깅)이 가능하다 -> pythoninc code Tensorflow Static Graph Define and Run 기법을 사용한다. 그래프를 먼저 정의하는 코드를 작성하고 실행시점에 데이터를 feed시킨다.
