2주차 Convolution

Convolution

I라는 이미지와 K라는 필터를사용해서 O라는 Output dimension을 만들어낸다.

RGB 이미지를 예시로 들면
Image는 32*32*3 Filter로 5*5*3의 사이즈가 4개가 있다
결과는 28*28*4가 나온다

Parameter count

한개의 conv parameter수는 conv size * prev_vector filter수 * next_vector filter수 가된다.
모델의 성능을 높이기 위해서는 파라미터수를 줄이는게 좋다
Dens Layer에서는 파라미터수가 많이 필요하다.

아래와 같은 2개의 conv가 있다고 한다면 파라미터수는
5*5*3*4 + 5*5*4*10 = 300,000이 된다.

2번예시

Stride

커널의 스텝을 의미함 (default=1)

Padding

Input과 Output의 사이즈(width,height)를 같게 하기 위해 사용한다.
-> 두개의 사이즈를 같게하려면 가장자리도 filter로 찍어줘야하는데 가장자리는 output을 찍을 수 없기때문에 padding을 사용한다.

Padding과 Stride 예시

1X1 Convolution

• dimension reduction 목적을 갖고있다.
• 1X1 Conv에서 dimension은 채널을말한다.
• conv layer를 더 깊게(depth) 쌓으면서 parameter수를 줄일 수 있게된다.

example) bottle neck architecture