부스트캠프 AI Tech 2기/2기 U-Stage
3주차 Multi - GPU
지금날의 딥러닝은 많은 데이터를 계산시기키 위한 GPU가 많이 필요하다. 개념정리 Single GPU vs Multi GPU 1개의 GPU vs 2개이상의 GPU GPU vs Node Node는 1대의 컴퓨터를 이야기한다. ex_ 1대의 Node안에있는 1대의 GPU를 사용한다. Single Node Single GPU Single Node Multi GPU 한대의 컴퓨터에 여러대의 GPU Multi Node Multi GPU ex_ 서버실 Model parallel 다중 GPU에 학습을 분산하는방법 모델 나누기 - AlexNet도 이 방법을 사용 - 모델의 병목현상이 발생할 수 있다. - 고난이도 과제임 모델 병렬화의 문제점 위의 그림은 병렬화를 하는 의미가 없다 아래 그림처럼 파이프라인을(배치코드를)..
