[Object Detection] R-CNN 살펴보기 (+SPPNet)

 

 

다음 주부터 디텍션 프로젝트가 진행된다

그동안 디텍션쪽 모델들도 파편적으로 알고 있거나 이해가 부족한 부분들이 많았는데 이번 기회에 전체적으로 공부 및 정리를 하고 넘어가려한다

 

아래의 강의 및 자료들을 참고하였다

 

 

https://www.boostcourse.org/ai341

재활용 쓰레기를 활용한 딥러닝 (1) - Detection

 

 

 

 

1. 객체 탐지 태스크의 문제 정의 - Object Detection의 역사

 

 

강의에서 제시한 Object Detection의 역사로 공부하고자 목표한 주요 모델들이다

아래는 2014년부터 Object Detection 관련 모델 및 논문들(공식 코드) 을 정리한 깃헙이다

 

https://github.com/hoya012/deep_learning_object_detection

GitHub - hoya012/deep_learning_object_detection: A paper list of object detection using deep learning.

 

The part highlighted with red characters means papers that i think "must-read".

 

 

MUST READ라고 빨간색으로 체크된 부분과 거의 동일하다

논문 리뷰라기보단 각 모델마다의 특징과 한계점들, 이전의 어떤 문제점을 개선하기 위해 새로운, 좋은 아이디어가 나왔는지 등이 주이며 일부 코드들도 공부하고 길지 않으면 같이 간단하게 정리해보려한다

 

 

 

 

 

 

• 다룰 모델: R-CNN, Fast R-CNN, Faster R-CNN
• 핵심 내용:
  • 모델의 전체적인 구조 변화
  • Selective Search의 느린 속도 문제.
  • ROI Pooling으로 CNN 연산을 공유하게 된 혁신.
  • RPN(Region Proposal Network): GPU 위에서 박스를 추천하게 된 결정적 계기.
  • (Code) RPN의 Anchor 생성 로직 및 Loss 계산 부분.

 

 

 

 

---

 

 

 

 

 

R-CNN

• 논문 링크
• 논문 저자의 원본 코드는 caffe 기반이라 pytorch로 구현되어 있는 다른 레포를 참고

 

https://herbwood.tistory.com/5

R-CNN 논문(Rich feature hierarchies for accurate object detection and semantic segmentation) 리뷰

 

 

https://herbwood.tistory.com/6

Pytorch로 구현한 R-CNN 모델

 

이 분의 글만 정독하고 잘 공부해도 이해하는데는 문제없고 충분할 정도로 정리 및 설명이 잘 되어있다

다만 레포와 코드들이 작성된지 오래되서 공부하기 전 한번 더 체크해보는게 좋을 것 같다

잘 정리되어 있는 글을 보면 되는데 왜 굳이 정리하는가 싶기도 하지만 정리된 글을 보는 것과 직접 내가 이해한대로 정리해보는 것에는 큰 차이가 있다고 생각한다

 

 

---

 

 

 

 

 

먼저, R-CNN의 전반적인 탐지 프로세스는 아래와 같다

1. 이미지 입력
2. Selective Search로 약 2000개의 RoI(Region of Interest) 추출
3. RoI(Region of Interest)의 크기를 조절해 모두 동일한 사이즈로 변형: 각기 다른 사이즈의 후보영역을 동일한 사이즈로 warping 한다. (CNN의 마지막인 FC layer의 입력 사이즈가 고정이므로 Wraping 해야함)
4. RoI를 CNN에 넣어, feature를 추출: 1개의 이미지에 동일한 사이즈의 2000개의 후보 영역이 존재
5. CNN을 통해 나온 feature를 1) SVM에 넣어 분류,  2) regression을 통해 bounding box를 예측
6. NMS 적용하여 bounding box 최적화

 

 

 

 

 

R-CNN 구조

 

 

논문에서는 3가지 모듈로 구성되어 있다고 이야기한다

Region Proposal → CNN 특징 추출 (Feature Extractor) →  Classification + Regression (SVM 분류 + Bbox 좌표 위치 보정)

 

 

 

 

 

1. Region Proposal

• 대상이 있을 것으로 예상되는 후보군들 제안
• Selective Search라는 외부 알고리즘 사용 (하나의 이미지에서 2000개 region proposal 생성)
  ✅ R-CNN = region proposal이 네트워크 밖에서 이루어진다
  
• 제안된 proposal을 고정 크기 입력으로 변환. 제안된 박스를 이미지에서 잘라 고정 크기(227x227) 로 리사이즈 (warping)

 

Selective Search가 동작하는 과정은 아래 사진과 같다

https://www.ultralytics.com/ko/blog/what-is-r-cnn-a-quick-overview

 

region proposal이 외부 알고리즘을 이용해 네트워크 밖에서 이뤄지는 것은 즉 같은 GPU가 아닌 CPU 연산이 이루어지며 End-to-End 학습이 불가능하다

또한, CNN의 Inference가 proposals 수만큼 반복되기에 처리 속도가 매우 느려진다

 

 

 

Selective Search 관련된 자세한 내용은 아래 글에 잘 정리되어 있다

해당 알고리즘은 라이브러리로 설치해서 사용하거나 또는 OpenCV의 기능으로도 구현되어 있으므로 선택해서 사용가능하다

 

https://developer-lionhong.tistory.com/31

[Object Detection] Selective Search (선택적 탐색)

https://woochan-autobiography.tistory.com/910

CV - Selective Search로 Region Proposal 해보기

 

 

 

python opencv 간단 예시 코드

import cv2
import matplotlib.pyplot as plt

# 이미지 불러오기
img = cv2.imread("image.jpg")
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

# Selective Search 초기화
ss = cv2.ximgproc.segmentation.createSelectiveSearchSegmentation()
ss.setBaseImage(img)
ss.switchToSelectiveSearchFast()   # 빠른 모드 (또는 switchToSelectiveSearchQuality())

# RoI 실행
rects = ss.process()
print("RoI proposals:", len(rects))

# 상위 몇 개만 시각화
for i, (x, y, w, h) in enumerate(rects[:100]):
    cv2.rectangle(img_rgb, (x, y), (x+w, y+h), (255, 0, 0), 1)

plt.figure(figsize=(10,10))
plt.imshow(img_rgb)
plt.axis("off")
plt.show()

 

 

 

 

2. Feature Extractor (CNN)

• 제안된 Region에 대해서 CNN을 통해 고정된 길이의 피쳐 벡터를 추출
• 논문에서는 AlexNet 사용 -> 최종 region당 피쳐의 크기 : 2000x4096

 

https://www.ultralytics.com/ko/blog/what-is-r-cnn-a-quick-overview

 

위의 구조와 같이 Selective Search를 거쳐 나은 Region들을 warp, 리사이즈로 시킨 뒤에 CNN을 거쳐 피쳐 벡터를 추출하였다

피쳐를 추출하는 CNN, 바운딩박스를 분류하는 SVM, 바운딩박스의 위치를 조정하는 Bbox Regression 부분까지, 학습을 시켜야할 파트들이 여러개 존재하여 각각을 학습시켜줘야한다

 

세 개의 분리된 학습 단계 (SVM + BBox regression 분리)

R-CNN 학습은 세 단계 조각으로 나뉜다.

1. CNN을 ImageNet으로 pretrain 후, 각 proposal을 넣어 feature vector 추출
2. 그 feature를 사용해 클래스별 SVM 학습
3. bbox regression 별도 학습

여기서 CNN을 거쳐서 나온 feature vector는 Classification, BBox Regression의 입력으로 사용된다

인퍼런스에도 사용되고 SVM, Linear Regression 모델을 학습시키는데도 사용된다

 

논문에서 학습을 시키는 과정은 아래 내용처럼 CNN 학습 시키고.. 피쳐 벡터 뽑은거로 SVM 학습 시키고.. 비슷한 과정을 반복하는 등 꽤 복잡한데 보다시피 각 모듈의 출력을 다른 모듈의 입력으로 학습시켜야하는, end-to-end가 아닌 형태이다

R-CNN에서의 학습과정 (출처 : https://blog.lunit.io/2017/06/01/r-cnns-tutorial/)

 

즉, 전체가 서로 따로 놀기 때문에 엔드투엔드가 아니다

 

위에 링크 남긴 herbwood님의 글에서 논문의 Hard Negative Mining까지 어떻게 적용되어 학습했는지 잘 정리되어 있으니 참고

 

 

 

 

 

 

 

3. Classification + BBox Regression (+NMS)

 

마지막 단계에서 R-CNN은 각 객체 후보영역(Region Proposal)에 대해 두 가지 작업을 수행한다:

1. 클래스 분류(Classification)
2. 위치 보정(Bounding Box Regression)

그리고 마지막에 NMS(Non-Max Suppression)로 중복 박스를 제거한다

 

 

 

3-1. Classification: CNN Feature → 클래스별 Linear SVM

Selective Search로 얻은 각 proposal은 CNN에 입력되어 고정 길이의 feature vector로 변환된다.

이 feature vector는 클래스별 Linear SVM에 입력된다. (예: person용 SVM, dog용 SVM, car용 SVM 각각 존재)

SVM은 다음 두 가지 값을 출력한다:

• decision score (confidence score ): 이 proposal이 해당 클래스에 속할 가능성을 나타내는 점수
  (※ 확률 아님. Softmax와 달리 확률적 의미 없음)
• 예측 클래스: 여러 SVM 중 가장 높은 score를 가진 클래스 선택

SVM score는 NMS와 최종 ranking에 사용된다

 

 

 

3-2. Bounding Box Regression: 위치 보정

 

R-CNN은 각 클래스별로 bounding box regressor를 별도로 학습한다.
이 회귀 모델의 목표는 proposal의 위치를 더 정확하게 보정하는 것이다.

 

처음 봤을 때 어떻게 학습을 하는지, 그리고 추론을 어떻게 해서 바운딩 박스 좌표를 조정하는지가 많이 헷갈렸는데 이 부분은 회귀 모델의 학습과 추론을 분리해서 생각하는 것이 도움이 된다

 

 

 

학습 단계 (Training)

 

목표: Proposal을 GT 박스에 최대한 가깝게 조정할 수 있는 offset을 예측하도록 학습

데이터 구성:

1. Proposal 좌표 (원본 이미지 기준)

• Selective Search로 생성된 후보 영역 바운딩 박스 좌표

2. CNN feature vector

• Proposal을 CNN 입력 크기로 warp/resize 후 feature 추출
• Linear regressor의 입력으로 사용

3. GT bounding box 좌표 (원본 이미지 기준)

• Proposal이 맞춰야 하는 정답

Target(offset) 계산: Proposal과 GT 박스 간 관계를 scale-invariant, 로그 스케일로 변환

모델 학습: CNN feature → Linear layer → offset 예측

 

 

 

 

• Loss: SSE(MSE) + L2 정규화
• 조건: IoU ≥ 0.6인 proposal만 학습에 사용 (GT와 충분히 겹치는 경우)

 

 

 

 

추론 단계 (Inference)

• 목표: 학습된 모델을 이용해 proposal 좌표를 실제 이미지에서 조정
• 과정:
  1. Proposal을 CNN 입력 크기로 warp → feature 추출
  2. Feature vector를 Linear BBox Regressor에 입력
  3. 모델이 예측한 offset을 proposal 좌표에 적용 → 조정된 bounding box 생성
  4. 클래스 점수와 함께 NMS를 통해 최종 검출 박스 선정
• 핵심: 학습 시 GT와의 offset을 예측하도록 배웠다면, 추론 시에는 proposal의 feature만으로 원본 이미지 기준 bounding box를 보정할 수 있음

 

 

3. NMS (Non-Maximum Suppression)로 최종 박스 선택

 

각 클래스별로:

1. SVM score로 proposal을 정렬
2. IoU가 높은 박스 중 score가 낮은 박스를 제거

 

• 클래스별 score 정렬
  • 각 proposal에 대해 SVM 점수(score)를 계산
  • 특정 클래스 기준으로 score를 내림차순 정렬
• 중복 제거
  • 가장 높은 score를 가진 박스를 기준(box A)으로 선택
  • 다른 모든 박스와 IoU(Intersection over Union) 계산
  • IoU가 threshold 이상(예: 0.5)인 박스는 제거
• 반복
  • 제거한 박스를 제외하고 남은 박스 중 가장 높은 score 선택
  • 다시 IoU 계산 후 threshold 이상이면 제거
  • 남은 박스가 없을 때까지 반복

 

이 과정을 거쳐 중복 없이 가장 자신 있는 박스만 남기게 된다.

GT와 가장 가까운, 스코어가 높은 박스와 비교하면서 많이 겹치는 다른 바운딩 박스들은 같은 오브젝트로 판단하고 많이 겹치지 않는, IoU값이 기준이하라면 아예 다른 오브젝트라고 판단하는 형태이다

 

https://wikidocs.net/142645

3) NMS (Non-Maximum Suppression) & Anchor box

 

NMS 알고리즘은 R-CNN 뿐 아니라 뒤의 모델들 그리고 YOLO에서도 널리 사용되는 알고리즘이기에 알아둘 필요가 있다

 

 

 

지금까지의 전반적인 흐름도를 정리하자면 아래와 같다

원본 이미지
┌───────────────────────┐
│ Object(s)            │
└───────────────────────┘
        ⬇ Selective Search
2000개의 Proposal Boxes (원본 좌표)
        ⬇ Warp/Resize
CNN 입력 크기
        ⬇ CNN Feature Extractor
Feature Vector (고정 길이)
        ⬇                ⬇
    Linear SVM          Linear BBox Regressor
    클래스 예측         Offset 예측 (t_x, t_y, t_w, t_h)
        ⬇                ⬇
     Class Score        Offset 적용
                          ⬇
                    조정된 Bounding Box
                          ⬇
                         NMS
                          ⬇
                     최종 검출 박스

 

 

 

---

 

 

 

한계점

 

1. 입력 이미지 왜곡 문제

• R-CNN은 AlexNet과 같은 CNN을 그대로 사용하기 위해 모든 Region Proposal을 고정 크기(예: 224×224)로 warp/resize해야 함
• 이 과정에서:
  • 이미지 비율이 왜곡될 수 있음
  • 중요한 시각 정보 손실 가능
• 결과: 작은 객체나 세밀한 구조가 있는 영역의 특징 손실 가능

2. 느린 학습/추론 속도

• Selective Search로 생성된 약 2,000개의 proposal을 각각 CNN에 통과시켜 feature를 추출
• 학습과 테스트 모두 매우 느림
• 단순 이미지 크기/프로posal 개수가 증가하면 속도 문제 심화

 

3. GPU 활용 비효율

• Selective Search와 SVM은 GPU에 최적화되어 있지 않음
• CNN feature 추출만 GPU에서 빠르게 수행되며, 나머지 과정은 CPU 중심
• 결과: 하드웨어 성능을 충분히 활용하지 못함

 

4. Computation Sharing 불가 / End-to-End 학습 불가

• R-CNN은 구조적으로 CNN, SVM, Bounding Box Regression 세 가지 모듈이 분리되어 있음
• 특징:
  • CNN 학습 → feature 추출 → SVM 학습 → BBox Regression 학습 순으로 단계별 처리
  • Backpropagation이 SVM/BBox Regression까지 연결되지 않아 CNN 파라미터가 동시에 업데이트 불가
• 결과: End-to-End 학습 불가, 최적화 효율이 떨어짐

 

 

 

R-CNN 다음 Fast R-CNN 으로 넘어가기 전에, SPPNet도 한번 보면 좋다

 

SPPNet에서는 R-CNN의 일부 한계점들을 극복하려는 시도가 있었으며, 여기에서 쓰인 Spatial Pyramid Pooling (SPP)은 다음 계보의 모델인 Fast R-CNN의 핵심적인 기법 RoI(Region of Interest) Pooling 의 원형으로 쓰였기 때문에 뒤에 나올 2 Stage 모델들을 이해하는데 큰 도움이 된다

 

 

 

 

SPPNet

 

 

SPPNet에 대해 정확히 이해가 잘 안되서 아래 블로그글들을 여러번 정독하고 나서야 좀 정리가 되었다

 

SPPNet (Spatial Pyramid Pooling)

논문 리뷰 - SPPNet 톺아보기

[Object Detection] SPP(Spatial Pyramid Pooling)Net 

[ML] SPP (Spatial Pyramid Pooling) Object Detection 모델

[논문 리뷰] SPP: Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition(2015) +코드구현

갈아먹는 Object Detection [2] Spatial Pyramid Pooling Network

 

 

 

SPPNet은 이전의 R-CNN 한계점들 중 두 가지 단점들을 개선하였다

• 입력 이미지 강제 변형: 객체 후보 영역(RoI)의 크기가 어떻든 FCN에 넣기 위해 Crop, Warp을 통해 강제로 고정된 크기(224x224)로 변형해야 한다. 이 과정에서 이미지 왜곡과 정보 손실이 발생
  ➡️ No Crop, No Warp!! 어떤 크기든 가능!!
• CNN 중복 연산의 낭비: 수천 개의 RoI마다 CNN 연산을 처음부터 끝까지 개별적으로 반복해야하는 것. 하나의 이미지에 대해서 2000번 CNN을 통과 해야하므로 시간이 오래 걸린다는 점
  ➡️ 2000번 CNN 통과?! Nope. ❌ 이제 단 한 번이면 충분합니다
  

 

 

 

 

기존에는 RoI가 crop/warp를 거치고 CNN을 전부 거쳤던 순서가 CNN을 먼저 거치고 SPP 레이어를 거치는 순으로 변경되었다

 

 

SPPNet의 구조는 아래와 같다

 

https://bkshin.tistory.com/entry/%EC%BB%B4%ED%93%A8%ED%84%B0-%EB%B9%84%EC%A0%84-10-R-CNN-vs-SPP-net-vs-Fast-R-CNN-vs-Faster-R-CNN-%EA%B0%9C%EC%9A%94

 

 

 

 

 

 

 

 

 

Feature Map 공유

 

 

SPPNet은 2000번의 CNN 연산을 단 1회로 줄인 'Feature Map 공유(Feature Map Sharing)' 개념을 도입했다

좌표 투영(Coordinate Projection) 이라는 방법을 사용하였다

SPPNet은 R-CNN처럼 RoI마다 원본 이미지를 자르는 대신, 아래와 같이 처리한다

 

 

 

1. 전체 이미지 CNN 연산 (단 1회): 입력 이미지 전체에 대해 CNN의 Convolution Layer를 한 번만 수행하여 Feature Map을 생성한다

 

https://bkshin.tistory.com/entry/%EC%BB%B4%ED%93%A8%ED%84%B0-%EB%B9%84%EC%A0%84-10-R-CNN-vs-SPP-net-vs-Fast-R-CNN-vs-Faster-R-CNN-%EA%B0%9C%EC%9A%94

 

 

2. 셀렉티브 서치 활용: 원본 이미지에서 셀렉티브 서치로 얻은 2,000개의 RoI 좌표를 준비한다

 

 

3. 좌표 투영: CNN의 축소 비율(예: 16)을 이용하여, 2,000개의 RoI 좌표를 Feature Map상의 영역 좌표로 단순하게 환산한다 (예: x=32 ➡️ x'=2)

 

원본 이미지에서 추출한 RoI를 피쳐맵으로 좌표 투영

 

이로써 SPPNet은 비싼 CNN 연산을 중복하지 않고, 이미 만들어진 Feature Map에서 좌표에 해당하는 영역만 뽑아서 사용할 수 있게 되었다

 

 

 

 

 

SPP (Spatial Pyramid Pooling) 

 

Feature Map에서 RoI 영역을 잘라내도, 그 영역들의 크기는 여전히 제각각이다

이 영역을 FCN에 넣기 위해 SPP(Spatial Pyramid Pooling) Layer 을 통해 고정된 길이의 벡터로 만들 수 있다

 

SPP Layer의 작동 방식

 

 

 

[부스트코스] 재활용 쓰레기를 활용한 딥러닝 (1) - Detection

 

 

SPP Layer는 기존 풀링처럼 필터 크기를 고정하는 대신, 최종 출력물의 개수(Bin)를 고정한다

• 다중 해상도 분할: 입력 Feature 영역의 크기와 상관없이, 해당 영역을 4x4 (16개), 2x2 (4개), 1x1 (1개) 와 같은 고정된 그리드 개수로 나눈다
• Max Pooling: 각 그리드(Bin) 내에서 Max Pooling을 수행하여 값 1개를 추출
• 벡터 결합: 모든 레벨에서 추출된 값들을 합칩니다. (예: 16 + 4 + 1 = 21개의 값)

따라서 어떤 크기의 Feature Map 영역이 들어오더라도, 항상 21개 x 채널 수만큼의 고정된 길이의 벡터가 FCN으로 전달된다

이로써 SPPNet은 입력 이미지 크기의 제약에서 완전히 벗어나게 되었다

 

 

 

 

 

SPPNet을 보면서 이해를 못했던 부분들은 다음과 같다

 

1. SPP 레이어에서 FCN으로 어떻게 항상 고정된 크기의 벡터만 만들어주는가?

• SPP 레이어에서 비닝하여 풀링하는 부분을 제대로 이해하지 못했다
• 원본 이미지 전체를 CNN 거쳐서 나온 피쳐맵에 셀렉티브 서치로 찾은 RoI의 좌표를 줄어들은 피쳐맵 비율만큼 조정하여 투영한다
• 그러면 셀렉티브 서치로 얻은 RoI 크기들이 제각각인 것처럼 투영된 RoI들도 크기가 서로 다를 것이다
• 이때 풀링을 적용하는데 이전에 우리가 알고 있던 풀링과는 다르다
• 이전에 배운 Max, Average Pooling은 2x2, 3x3 이렇게 일정 크기에서 하나의 값을 뽑는 형태였으나 비닝을 사용한 풀링은 피쳐맵이 어떤 크기든 무조건 같은 크기로 나오게끔 만드는 풀링이다
• 위의 부스트코스 강의 예시처럼 2x2 피라미드라면 32x32 이미지든 64x64 든 전부 4등분내어 4차원으로 형태를 고정시켜준다
• 비닝 풀링을 이해하는 것이 키포인트!!

2. 셀렉티브 서치로 2,000번 CNN 연산하던 것이 어떻게 1번으로 줄어드는가?

• 위의 내용과 겹치지만 여기서 핵심은 셀렉티브 서치로 얻은 RoI 좌표를 원본 이미지를 CNN 거쳐서 얻은 피쳐맵에 투영하는 것이다
• 원본의 이미지 크기가 224x224, 피쳐맵은 14x14 라면 축소 비율은 16이다
• RoI 중 하나의 좌표가 (32, 48)이고 너비는 64, 높이가 96이라면 각각 16으로 나눠준다
• 그럼 피쳐맵에 투영된 RoI의 좌표는 (2, 3), 너비와 높이는 4, 6이 된다
• 따라서 원본 이미지의 (32, 48)에서 시작하는 64, 96 크기의 RoI는 14x14 크기의 피쳐맵에서 (2,3) 에서 시작하는 4x6 픽셀 영역에 해당한다

 

아! CNN 을 한번만 거친다고 해서 뽑아낸 피쳐맵에서 셀렉티브 서치를 하나 생각했는데 다시 생각해보니 그렇게 압축되고 작아진 피쳐맵에서는 셀렉티브 서치가 제대로 동작할 수 없겠구나. 원본 이미지를 기준으로 셀렉티브 서치를 수행한다음 피쳐맵에 맞게 좌표의 비율을 조정하여 RoI 피쳐맵들을 뽑아낸다음 여기에 여러 규격의 풀링을 적용하여 FC 레이어에 넘겨줄 피쳐 벡터의 크기를 고정시킨거구나.

 

 

 

 

 

한계점

 

SPPNet은 다음과 같은 두 가지 주요 포인트를 남겼다

1. Feature Map 공유: 이후 모든 효율적인 2-Stage 객체 인식 모델(Fast R-CNN, Faster R-CNN)의 기반이 되었다
2. RoI 풀링의 원형: SPP Layer의 아이디어는 Fast R-CNN의 RoI Pooling Layer와 Mask R-CNN의 RoI Align Layer로 이어졌다

R-CNN의 여러 문제점들을 효과적으로 해결했지만 여전히 한계점들이 존재한다

• 느린 Region Proposal: 여전히 느린 셀렉티브 서치(CPU 연산)에 의존하여 전체 속도를 느리게 만들었다
• 부분 학습: FCN을 제외한 CNN의 Convolution Layer는 학습되지 않아 모든 모델의 전체적인 학습,  End-to-end 학습이 불가능하다

이러한 한계를 극복하고 SPPNet의 아이디어를 완성시킨 모델이 바로 다음 단계인 Fast R-CNN이다

Fast R-CNN은 SPPNet의 SPP Layer를 RoI Pooling으로 단순화하여 네트워크 전체의 End-to-End 학습을 가능하게 만들었다

 

 

---

 

 

 

 

 

 

이번에는 R-CNN의 대략적인 구조와 어떤 특징들이 있는지, 그리고 R-CNN의 문제들을 해결하려는 시도와 Fast R-CNN 모델에서부터 나오는 RoI 풀링의 뼈대가 되는 SPP까지 살펴보았다

논문, 블로그, 구글링 및 GPT 등 여러 자료들을 많이 참고하고 짜집기 같은 느낌도 있지만 정말 그대로 복붙만 했다면 짜집기에 불과했을 것이다

 

짧은 기간 내에 봐야할 모델들이 쌓여있다보니 논문에서는 어떤 식으로 했다 - 같은 단순한 실험적인 부분은 배제하고 어떤 구조, 형태들로 이루어져 있으며 각각이 어떻게 학습되고 인퍼런스는 어떻게 되는지, 입출력의 형태 등 모델과 주요 아이디어 그리고 이 모델의 단점과 한계점 위주로 보았다

 

입출력이 어떻게 이뤄지는지도 정말 중요한데 이렇게 글로 정리해보려 하지 않았다면 아마 바운딩박스를 예측하고 조정하는 부분에서 어떤 형태의 데이터를 입력으로 받고 출력되는 예측값은 어떤 것인지, 어떻게 Region Proposal의 바운딩 박스 좌표값을 GT에 가깝게 조정하는지 등을 모른채 지나쳤을 것 같다

 

물론 아직도 모르는 부분들이 많긴 한데 아래의 R-CNN 코드 리뷰글과 생성형 AI 등의 도움을 받아 지금까지 살펴본 내용들이 코드로 어떻게 구현되어 있는지도 한번 살펴보면서 더 깊게 이해해보려한다

 

https://herbwood.tistory.com/6

Pytorch로 구현한 R-CNN 모델

 

 

 

 

 

 

 

 

 

 

 

참고 자료

R-CNN 논문(Rich feature hierarchies for accurate object detection and semantic segmentation) 리뷰

Object Detection for Dummies Part 3: R-CNN Family

NMS (Non-Maximum Suppression) & Anchor box

갈아먹는 Object Detection [1] R-CNN

Deep Learning Bible - SPPNet