2주차 조금..? Modern Convolution Neural Network

ILSVRC(ImageNet Large Scale Visual Recognition Challenge)

• ILSVRC는 이미지 인식(image recognition) 경진대회이다.
• 여기서 우승한 알고리즘을 몇개 소개해본다.

Alex Net

• 2개의 GPU
• Relu
• Local Response Normalization, Overlapping pooling
• Data augmentation
• Dropout

VGG Net

• 3*3 Filter만 사용
  • 3*3 filter만 사용한 이유는 같은 receptive field를 얻는 관점에서 3*3을 2개사용하는게 5*5 1개 사용하는것보다 파라미터 수가 적게 사용되기 때문이다.
  • 이런 이유때문에 3*3 혹은 5*5 필터를 주로사용한다.
• Dropout
• VGG16, VGG19가 존재하는데 뒤에 숫자는 레이어 숫자임
  

  

GooGle Net

• Inception block을 사용함
  • 1*1필터를 끼워넣어서 채널방향으로 차원을 줄일 수 있다.
  • 채널방향으로 dimension reduction이 들어감으로 인해서 전체적인 parameter를 줄이고 Input과 Output을 같게만든다.
    

    

    
    

    

ResNet

• skip connection으로 레이어를 깊게 쌓을 수 있게했다.

DensNet

• Concatenation으로 피처맵을 더하는 대신에 쌓으면서 좋아진다.