VGGNet (ICLR 2015) 요약 및 리뷰

 

Very Deep Convolutional Networks for Large-Scale Image Recognition
https://arxiv.org/abs/1409.1556

 

 

I. Introduction

• 해당 논문은 모델의 레이어를 더 깊게 만드는 것에 중점을 두었다. 이를 위해 다른 파라미터들을 고정하고 3x3 크기의 작은 필터로 레이어를 쌓아 모델의 깊이를 획기적으로 늘렸다
  => 그 결과 당시의 SOTA 달성 및 다양한 데이터셋에 적용 가능한 성능 좋은 모델로 손꼽히게 되었다

 

---

II. ConvNet Configurations

2.1 Architecture

• 훈련셋의 각 픽셀에서 평균 RGB를 뺀 전처리를 한 224x224x3  RGB 이미지 사용
• 전처리된 이미지들은 3x3 크기의 필터가 있는 합성곱층을 지난다. 스트라이드는 1, 비선형성을 위해 1x1 필터도 적용
• 공간해상도, 이미지의 공간적 정보를 보존하기 위해 = 이미지 크기 유지를 위해 3x3 합성곱층에 대해 1픽셀의 패딩 적용
• Max Pooling을 사용하였으며 2x2 필터의 스트라이드 2를 사용
• 합성곱층을 거친뒤에 노드 4096개의 완전연결층 2개를 거치고 마지막 출력층에는 클래스 개수인 1000개에 소프트맥스 함수를 적용
• 활성화 함수로 ReLU 사용
• 해당 논문에서는 LRN (Local Response Normalisation)을 사용하지 않았다 => 이유는 성능 향상도 없고 자원 소모만 늘어났기 때문

 

2.2 Configurations

 

 

• VGGNet을 레이어와 LRN, 1x1필터 적용에 따라 6개의 케이스로 나눠정리한 표와 구조도이다.
• 4번의 MaxPooling을 거치며 한번 거칠때 마다 채널을 2배로 증가시켜 64에서 512까지 늘렸다
• 이전의 AlexNet에서 11x11 크기 필터에 스트라이드 4 합성곱층을 쓰거나 7x7 필터에 스트라이드 2 합성곱층을 쓴 것과 달리 VGGNet은 모든 층에서 3x3 필터만 사용한다
• 왜 작은 필터사이즈가 더 좋은가??   
  • • 비선형성의 증가. 층을 더 깊게 쌓으면 그만큼 활성화 함수를 더 많이 거치게 되면서 비선형성을 증가시킬 수 있고, 따라서 비선형적인 문제들을 해결하는데 더 좋은 효과를 얻을 수 있다
    • 파라미터 개수의 감소. 파라미터의 개수가 더 적으므로 연산 효율이 좋아진다
      파라미터 개수는 5x5 필터 하나보다 3x3 필터 두 개가 더 적다. 3x3 필터 두 개가 5x5 하나보다 연상량, 가중치 개수가 더 적으므로 더 깊게 쌓을 수 있다. 
      이렇게 7x7 필터 대신 3x3 필터를 사용함으로써 파라미터의 개수를 줄이는 것은 일종의 규제를 하는 것으로도 간주할 수 있다  ⇒ ’This can be seen as imposing a regularisation on the 7x7 conv.filters' 

 

• 3x3 필터 2개 = 5x5 필터 1개
• 3x3 필터 3개 = 7x7 필터 1개
• 3x3 필터를 여러 개 사용해서 얻는 이점은?

• ⇒ decision function 성능이 더 향상되며, 파라미터 개수를 줄일 수 있다는 것. 
  ⇒ 파라미터가 적다 = 연산량이 줄어든다 = 계산이 빨라진다
  모델이 C개의 채널을 가진다면 3x3 필터 3개 사용시 3 * ( 3² C² ) = 27C²
  7x7 필터 1개 사용시 1 * ( 7² C² ) = 49C² 이다. 즉 3 * 3 필터 3개 사용시 parameter 개수를 81%가량 줄일수 있다.
• 1x1 크기 필터도 사용. -> 원문 읽어보면 비선형성을 추가하기 위해 사용했다고 서술함. 입출력 채널을 동일하게 하고 1x1 필터를 사용함으로서 이미지의 크기는 그대로 유지하되 활성화 함수를 거치게 하여 추가적인 비선형성을 가지게 한다
• 레이어가 적을떄, 모델의 깊이가 얇을면(shallow) 근사가 잘 되지 않는다. 비선형성 함수를 늘리면 더 고차원적인 함수를 잘 근사한다. => 따라서 비선형성의 증가는 복잡한 문제 해결에 도움이 된다. 

 

 

 

 

---

III. Classification Framework

3.1 Training

훈련과정은 이미지 크롭(sampling the input crops from multi-scale training image)을 제외하고는 알렉스넷과 동일하게 진행된다.

• Optimization : multinomial logistic regression (mini-batch gradient descent with momentum)
  • batch size = 256 
  • momentum = 0.9 
• Regularization 
  • weight decay = 0.0005 (L2)
  • drop out = 0.5 (Dense층1,2에서 사용)
• Learning rate = 0.01 (val accuracy 증가하지 않을 시 0.1배씩 감소) 
• epoch = 74 

 

VGGNet이 알렉스넷보다 더 깊고 파라미터가 많으면서도 수렴하는데 더 적은 에폭이 걸린 이유로 논문의 저자는 두가지 추축을 언급하였다. 

 

1. implicit regularisation imposed by greater depth and smaller conv.

“This can be seen as imposing a regularisation on the 7x7 conv”

 

=> 학습되는 파라미터 개수를 줄이는 것도 규제의 방법이다. (=dropout). 7x7 conv 하나 대신 3x3 conv 2개 쓰는 것이 파라미터 수가 더 적으므로 일종의 규제로 볼 수도 있다.

 

2. pre-initialisation of certain layers

• Weights Initialisation, 모델의 가중치 초기화는 중요하다. 가중치가 잘못 초기화될 경우 학습이 불안정해질 수 있기에 어떻게 초기화시키느냐에 따라 성능이 달라진다. 특히 깊이가 깊을수록 초기 가중치 설정이 매우 중요하다.
• 여기선 모델 A(랜덤 초기화를 쓰기에 충분히 얇은 모델)를 학습시키고 더 깊은 모델 학습시 맨 처음 Convolution Layer 4개, 맨 뒤의 Fuuly Connected Layer 3개를 모델 A로 학습된 레이어를 가져와서 사용한다. 그 사이의 레이어들은 랜덤으로 초기화한다

 

3.1.1 Training Image Size

• S = the smallest side of an isotropically-rescaled training image
  
  • 224x224 크기로 고정된 이미지를 얻기 위해 rescaled된 이미지를 랜덤으로 크롭하였다
  • 추가적인 augmenation을 위해 크롭된 이미지를 랜덤으로 수평 뒤집기, 랜덤으로 RGB값 변경을 적용하였다
  • i. image rescale
    ii. random crop
    iii. random horizontal flip, random RGB colour shift
  • S는 가로세로비가 유지되며 스케일이 조정된 이미지의 가장 작은 면.
    isotropically-rescaled training image에서 224x224 크기로 랜덤크롭한다
    S = training scale, S값을 설정하는 두가지 방식이 있다
    
    • i. single-scale training : S를 256, 384로 고정시켜 사용하는 방식. 먼저 S=256으로 학습시킨 후, S=256으로 사전학습된 웨이트로 초기화하여 S=384를 학습시킨다. 그리고 초기 학습률을 0.001로 줄여준다.
    • ii. multi-scale training : S를 256~512 범위 내 랜덤값으로 사용하는 방식 이렇게 스케일을 다양하게 줌으로써 이미지 내 오브젝트가 다양한 사이즈가 되기 때문에 훈련에 유익하다.
      이런 data augmentation 방식을 scale jittering라고도 한다 = training set augmentation by scale jittering

=> 속도 때문에 multi-scale 모델들은 같은 구조의 S=384로 single-scale 모델의 가중치를 초기 가중치로 사용해 fine-tune으로 학습시켰다.

# 결과로 크롭,플립,RGB변형된 3장의 이미지를 출력

def single_scale_preprocessing(img, label):
    scale=256
    resized_img = tf.image.resize(img, [scale,scale])
    cropped_img = tf.image.random_crop(resized_img, [224,224,3])
    flipped_img = tf.image.random_flip_left_right(cropped_img,5)
    shift_img = tf.image.random_hue(cropped_img, 0.5)

    aug_img = [cropped_img, flipped_img, shift_img]
    labels = [label, label, label]
    aug_img = np.array(aug_img)/255
    labels = np.array(labels)

    return aug_img, labels

 

 

 

3.2 Testing 

• 훈련뿐 아니라 테스트 시에도 rescaling을 한다. 훈련시 rescaling의 기준값을 S라 했다면 테스트시엔 Q라고 부른다. S와 Q는 같은 개념이고 훈련이냐 테스트냐만 구분하면 된다.
• Single scale의 경우 하나의 사이즈로 고정하여 테스트 이미지들을 rescale함. S와 Q가 꼭 같을 필요는 x. 각각 S마다 다른 Q를 적용시 향상된 성능을 얻었다고 한다.
• 고정된 크기의 class score에 대한 벡터를 얻기 위해 결과물인 class score map은 spatially averaged(sum-pooled)되었다 + 좌우반전으로 테스트셋 이미지 증강도 함
• 합성곱층으로만 이루어진 모델이기때문에(=fully-convolutional network) 테스트시 multiple crops 할 필요가 없다. = 각 크롭을 위해 네트워크 재연산을 필요하기에 덜 효율적이기 때문
• 동시에 large set of crops를 사용하는것은 정확도 향상으로 이어질 수도 있다
• dense evaluation, multi-crop evaluation, 둘을 섞어서 검증하는 등 여러 검증 방법에 대해 서술하고 있음

 

3.3 Implementation Details 

• Multi-GPU training. 배치단위로 GPU에 들어가서 병렬적으로 처리되고 GPU 배치 기울기 계산후에 평균내어 전체 배치에 대한 기울기를 구한다
• 기울기 계산은 GPU들에 걸쳐 동시에 일어나므로 단일 GPU를 훈련시킬 때와 같은 결과가 나온다
  => 여러개의 GPU를 사용함으로써 계산에 걸리는 시간을 단축시킴. 단일 GPU 걸리는 시간에서 3.75배 더 빨라짐

 

---

 

 

IV. Classification Experiments

• Dataset : ILSVRC-2012 dataset. 1000개의 클래스, 1.3M 훈련셋, 50K 검증셋, 100K 라벨 없는 테스트셋
• 평가 성능 지표는 top-1, top-5 error

 

4.1 Single Scale Evaluation

• 테스트셋을 단일 이미지 크기로 검증함.
• 위에서 언급한 것처럼 LRN은 큰 효과가 없기에 B-E, 깊은 모델에선 사용하지 않는다
• 모델의 깊이가 증가할수록 에러가 감소하는 것을 확인함. 11층인 A모델부터 19층인 E모델까지.
• C와 D모델의 차이는 이렇게 중간 합성곱층의 필터 사이즈가 다름. 하지만 같은 깊이에도 3x3 필터를 쓴 D모델이 성능이 더 좋았다
  • ⇒ 모델 B와 모델 C를 비교했을때 1x1 합성곱층을 통해 비선형성을 추가해주는 것은 효과가 있지만 / 합성곱층을 통해 공간적 정보를 추출하는 것 또한 중요하다. 그런면에서 D가 C보다 더 좋음
  • = 1x1 필터를 사용하면 비선형성을 더 잘 표현할 수 있게 되지만 3x3 필터가 공간-위치 정보의 특징을 더 잘 추출하기 때문에 3x3 필터를 사용하는 것이 좋다
• B의 형태에서 필터사이즈만 5x5로 바꿔서 만든 shallow net과 B를 비교, top-1 error에서 shallow net이 B보다 7% 더 높았다.
  • ⇒ 둘의 성능 비교를 통해 깊은 모델에서 큰 필터보단 작은 필터가 더 좋은 성능을 냄을 확인함
• 훈련시 scale jittering(256~512 사이 랜덤 스케일 지정)은 고정된 스케일(S=256, S=384)보다 더 좋은 결과를 냈다
  • ⇒ 일종의 노이즈 추가로 모델을 강건하게 만들어 과적합을 방지하고 성능을 향상시킨 것으로 보임

 

4.2 Multi-Scale Evaluation

• 테스트셋으로 다양한 이미지 크기를 적용해 검증
• 학습시 scale jittering이 효과가 있었음을 확인, 테스트에도 효과가 있을지 확인해보려함
• 훈련셋과 테스트셋의 큰 스케일 차이는 성능을 떨어뜨릴 수 있다
• 고정된 S로 훈련된 모델은 테스트셋 스케일을 3가지로 지정한다, ( S-32, S, S+32 )
• 훈련시 S를 범위로 주어 훈련한 모델은 다음과 같이 지정한다. ( Smin, 0.5*(Smin + Smax), Smax )

 

 

4.3 Multi-Crop Evaluation

Dense, Multi-crop, Multi-crop & Dense 3가지 경우로 나누어 검증, 성능 비교

 

 

 

4.4 ConvNet Fusion

• 여러개의 모델의 확률값들을 평균내어 앙상블.
• 모델 7개를 앙상블하거나 multi-scale 모델중 성능이 가장 좋은 2개를 앙상블하는 등 여러 모델 조합을 통해 앙상블함

 

---

V. Conlusion

• 모델의 레이어가 깊어질수록 발생하는 문제, 오버핏에 대해 간단하면서도 효과적인 방법을 사용하여 성능을 획기적으로 올린 VGGNet.
• 3x3 필터의 Conv, 더 깊은 레이어, 입력 이미지 사이즈에 대한 다양한 시도, 앙상블 등을 통한 sota 달성

 

 

Review

• 알렉스넷과 함께 딥러닝의 초창기 모델로, 인공지능을 공부한다면 누구나 한번쯤은 들어보고 알만한 모델이다. 
• 논문에서 제시한 방법들을 왜 사용했는지에 대해 살펴보면 좋은 인사이트들을 얻을 수 있다. 
• 오래되고 간단한 모델이지만 딥러닝을 공부한다면 한번쯤은 꼭 공부하고 구현해보는 것이 도움이 될 것이다.