[부스트캠프 AI Tech 8기] 13주차 회고

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

 

 

어제 목요일로 재활용 쓰레기 탐지 대회가 마무리되었다

이전의 텍스트 분류에서 아쉬웠던 부분들을 보완하고 싶었으나 개선 보다는 아쉬운 부분들이 더 많이 늘어나게 된 것 같았다

감을 못잡고 방황하기도 했고 리더보드에 현혹되었던 부분도 있어서 아쉬웠지만 그만큼 하지 말아야할 것들, 해야할 것들을 더 명확하게 배울 수 있었던 대회였다

이미 정답지가 있는 문제에서 정답을 잘 맞추는 것보다는 왜 그런 정답으로 이어질 수 있는지, 이런 부분에 더 집중을 했어야 했고, 이런 부분은 다음 세그멘테이션 대회에서 꼭 적용되어야 한다고 느꼈다

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

 

 

저번 주는 리더보드에 미련을 내려놓지 못해 모델을 이것저것 많이 돌려보고 가장 성능이 좋은 모델을 찾는 것에 집중했다면 이번 주는 그런 부분을 확실히 내려놓고 좀 더 데이터에 집중했었다

 

시간이 한 주 반 정도로 정말 짧고 모델은 돌아가는데 오래 걸리니까 데이터를 딥하게 봐야겠다 보다는 아 일단 모델 돌려놓고 보자! 하다가 데이터는 뒷전이 되버렸다 😇

뭔지도 모르는 모델만 계속 돌려봐야 남는게 없다. 음... 진짜 아무것도 없다

성능 최대한 높이려면 최신 SOTA 모델, 무겁고 큰 모델들 써봐야지 하면서 DINO? CO-DETR?

뭔진 몰라도 일단 좋다고 하니 써보기...

좋다고 써봤지만 정작 그 모델이 이 태스크에서 왜 성능이 높게 나오는지, 지금 데이터에 적절한 모델인지에 대해서는 한 마디도 설명할 수가 없었다

 

 

https://github.com/boostcampaitech7/level2-objectdetection-cv-05?tab=readme-ov-file

GitHub - boostcampaitech7/level2-objectdetection-cv-05: level2-objectdetection-cv-05 created by GitHub Classroom

 

이전 기수에서 어떻게 했는지 상세한 설명들도 이미 다 있는, 정답지가 존재하는데 이렇게 성능 높이겠다고 이해도가 전혀 없는 모델만 생각없이 돌리는건 정말 아니다 싶었다

이런 부분에서 현타가 많이 왔었고 늦었지만 다시 EDA로 돌아가서 직접 데이터를 하나씩 뜯어보았다

 

 

대회측에서 제공해준 EDA 코드도 있어서 전체적인 분포와 예시들을 볼 수 있었지만 정말 실질적인 데이터와 클래스들이 어떻게 라벨링되어 있는지는 하나하나 다 봐야했다

근데 몇 천 장의 이미지에 코드 돌려서 라벨링 박스들을 다 표기하고 보려니 가독성도 영 안좋을 것 같고 불편해서 스트림릿으로 EDA 및 시각화 툴 하나 만들어볼까 하다가 유용한 툴을 찾았다

 

https://github.com/voxel51/fiftyone

GitHub - voxel51/fiftyone: Refine high-quality datasets and visual AI models

 

 

FiftyOne이라는 툴인데 라벨링되어 있는 이미지 데이터셋을 한번에 편하게 볼 수 있다

 

이렇게 박스들이 어떻게 그려져있는지 한 눈에 볼 수 있고 확대도 가능하며 이미지에 대한 메타데이터로 필터링을 하거나 원하는 클래스들만 분류해서 보는 것도 가능하다

 

Object Detection 데이터셋을 보는 것 외에도 세그멘테이션이나 3D 등 다양한 형태의 데이터셋도 지원하고 오토 라벨링이나 VLM을 연결해서 이미지를 키워드, 문장으로 검색하는 기능도 존재한다

VLM으로 이미지 검색은 팀원분이 공유해주신 팁인데 작은 모델이라 성능은 다소 아쉽지만 그래도 데이터를 살펴볼 때 활용하기에 유용해보였다

 

 

실제로 라벨링 상태를 살펴봤을 땐 영 좋지 않았다

이걸 학습에 써도 될까 싶을 정도로 객체의 8~90% 이상 가려져있어서 식별이 힘든 라벨링도 꽤 많았고 한 클래스 박스 안에 다른 클래스들이 라벨링 되어 있거나 박스들끼리 지나치게 겹쳐 있기도 하였다

거의 아웃라이어급이라 할 수 있는 데이터 중 하나는 무려 하나의 이미지 안에 70개 바운딩 박스가 존재하기도 했다

 

또한, 클래스 중 가장 많은 비중을 차지한 일반 쓰레기 클래스는 정말 온갖 객체들을 다 때려박은, 일반 쓰레기였다

한마디로 데이터의 일관성이 매우 떨어지다보니 오히려 몇 장, 박스 몇 개 안되는 정말 적은 배터리의 탐지 성능이 좋았을 정도이다

근접해서 찍은 사진들이 대부분이었고 야외 환경이어서 배경도 다양한 편이었다

따라서 직접 봤을 때는 패턴들이 너무나 다양해서 눈에 띄는 시각적인 특징이나 인사이트를 얻을 수는 없었다

 

대신 이미지의 바운딩 박스 부분들, 객체들을 크롭해서 저장하고 픽셀값들이나 컬러 채널 등에 대해 어떤 분포를 가지고 있는지, 공통적인 특징들을 확인해보려 했으나 이 또한 유의미한 인사이트를 얻을 수 없었다

• RGB histogram
• HSV / LAB 분포
• Texture (LBP, GLCM)
• bbox area / aspect ratio
• gradient / specularity

 

모델이 객체 그 자체를 더 잘 학습할 수 있게끔 바운딩 박스의 좌표 정보를 이용해 객체를 세그멘테이션 하여 다른 배경에 붙이는, Copy and Paste를 살펴보았다

SAM 같은 세그멘테이션 모델을 통해 객체를 분리해낼 수도 있지만 OpenCV의 Grabcut으로도 깔끔하게 분리해낼 수 있다

예시는 아래와 같다

 

 

 

다만 Grabcut의 경우 CPU로 돌아가서 객체들을 분리해내는데 오랜 시간이 걸리기 때문에 만들어서 테스트해보진 못했고 바운딩박스만 잘라낸 Copy and Paste를 적용한 오프라인 증강으로 데이터셋을 만들어보았다

기본 모델 Faster R-CNN을 사용해 비교 평가를 했을 때 검증셋에 대한 비교는 아래와 같다

 

 

기본 데이터셋

12/10 08:24:23 - mmengine - INFO - 
+---------------+-------+--------+--------+-------+-------+-------+
| category      | mAP   | mAP_50 | mAP_75 | mAP_s | mAP_m | mAP_l |
+---------------+-------+--------+--------+-------+-------+-------+
| General trash | 0.172 | 0.262  | 0.194  | 0.021 | 0.076 | 0.235 |
| Paper         | 0.226 | 0.459  | 0.193  | 0.001 | 0.059 | 0.277 |
| Paper pack    | 0.28  | 0.375  | 0.315  | 0.0   | 0.214 | 0.306 |
| Metal         | 0.342 | 0.435  | 0.361  | 0.0   | 0.0   | 0.404 |
| Glass         | 0.254 | 0.447  | 0.232  | 0.0   | 0.01  | 0.305 |
| Plastic       | 0.243 | 0.396  | 0.247  | 0.0   | 0.065 | 0.307 |
| Styrofoam     | 0.377 | 0.563  | 0.457  | nan   | 0.009 | 0.403 |
| Plastic bag   | 0.484 | 0.686  | 0.547  | 0.0   | 0.101 | 0.546 |
| Battery       | 0.478 | 0.585  | 0.585  | nan   | 0.233 | 0.526 |
| Clothing      | 0.328 | 0.528  | 0.306  | nan   | 0.404 | 0.344 |
+---------------+-------+--------+--------+-------+-------+-------+

 

 

증강 적용 데이터셋

12/11 04:03:57 - mmengine - INFO - 
+---------------+-------+--------+--------+-------+-------+-------+
| category      | mAP   | mAP_50 | mAP_75 | mAP_s | mAP_m | mAP_l |
+---------------+-------+--------+--------+-------+-------+-------+
| General trash | 0.186 | 0.306  | 0.188  | nan   | 0.079 | 0.229 |
| Paper         | 0.41  | 0.633  | 0.415  | nan   | 0.266 | 0.45  |
| Paper pack    | 0.425 | 0.576  | 0.491  | nan   | 0.154 | 0.51  |
| Metal         | 0.417 | 0.558  | 0.467  | nan   | 0.075 | 0.485 |
| Glass         | 0.414 | 0.604  | 0.462  | nan   | 0.253 | 0.454 |
| Plastic       | 0.297 | 0.455  | 0.308  | nan   | 0.132 | 0.344 |
| Styrofoam     | 0.321 | 0.464  | 0.36   | nan   | 0.18  | 0.336 |
| Plastic bag   | 0.497 | 0.718  | 0.542  | nan   | 0.117 | 0.545 |
| Battery       | 0.314 | 0.428  | 0.354  | nan   | 0.008 | 0.404 |
| Clothing      | 0.444 | 0.703  | 0.469  | nan   | 0.303 | 0.451 |
+---------------+-------+--------+--------+-------+-------+-------+

 

 

• Paper: 0.226 → 0.41 (+0.184)
• Paper pack: 0.28 → 0.425 (+0.145)
• Glass: 0.254 → 0.414 (+0.160)
• Clothing: 0.328 → 0.444 (+0.116)
• Metal: 0.342 → 0.417 (+0.075)

 

이걸 적용해본 시점이 이미 대회 막바지였기에.. 학습 데이터에서 랜덤으로 10% 뽑은 validation셋만으로  실질적인 효과가 있었는지를 비교 평가해볼 수 없었다는게 참 아쉬웠다

 

그래도 각 클래스별로 mAP의 변화를 모니터링하면서 증강을 테스트해봤다면 유의미한 인사이트를 얻을 수 있지 않았을까 하는 생각이 들었고 실무에선 앙상블은 물론 큰 모델들을 사용하는 경우는 드물기에 이렇게 데이터 측면에서 최대한 깊게 파고들고 핸들링해서 모델 학습에 영향을 주는 데이터 중심 접근이 정말 중요함을 배웠다

 

이번에 해본 이미지 처리들도 다시 살펴보고 글로 정리하면서 복습하고 또 활용해보는 하나의 템플릿으로 삼는 것도 좋을 것 같다

 

아 대회에 정신이 팔려서 과제는 손도 못댔다... 

 

 

 

 

 

 

 

3. 피어세션 정리

 

 

 

 

저번 주와 마찬가지로 이번 주에도 쭉 대회와 관련된 이야기들을 나누었다

뒤늦게 다같이 데이터를 살펴보면서 라벨링, 일반 쓰레기 등 이슈가 있다고 생각되는 부분들에 대해서 이걸 어떻게 처리하면 좋을지 고민도 해보고, 그렇다고 GPU를 쉬게 둘 순 없으니 계속 학습 돌려놓으면서 대회를 진행하였다

 

멘토님께서 리더보드, 성능 보다는 데이터를 분석해보고 무언가를 더 배우고 남길 수 있는 방향으로 말씀해주시고 가이드를 주신게 도움이 많이 되었다

 

보통 클래스가 많아질수록 난이도가 상승하면서 클래스 불균형까지 있을경우 더더욱 어려워진다,

특정 객체 안에 다른 객체들이 포함되어 있으면 모델 성능이 떨어질 수 있다,

각 클래스별로 성능 지표를 모니터링해보면 좋다,

제대로 탐지하지 못하는 객체-클래스에 대해 별도의 모델을 만들거나 여러 개의 모델을 클래스별로 학습시켜서 묶는 통합 모델, 

파인 튜닝을 반복하면 기존 웨이트가 소실되면서 점차 바보가 된다 등등..
(여기 관련된 부분 AI 엔지니어링에서 봤었다. 파운데이션 모델의 경우 거대한 데이터셋으로 학습된 초기 모델에서 엄선된 고급 데이터로 한번만 파인튜닝을 시킨다고 했던 기억이..)

 

이번에는 팀원들과 같이 대회에서 합을 맞춰보는 단계였고 다음 대회, 프로젝트는 더 좋아질 것으로 기대된다

 

 

 

 

---

 

 

 

 

 

 

 

4. 회고

 

 

 

Keep

이번 주 잘한 점, 유지하고 싶은 것

• 늦게 자던 시간대를 12시 전후로 다시 땡겼다
• 카페인은 여전히 줄인채 잘 유지하고 있고, 가끔씩 하루 이틀 정도만 커피 마셔줬다
• 날씨가 좋아서 점심 먹고 산책을 다녀오고 있다
• 운동 꾸준히 다녀오는 중. 욕심 안내고 1시간 꽉 채워서 하고 온다
• 오랜만에 읽어보는 동화책 모모 재밌다. 사람을 남기는 사람도 재밌게 읽는 중

 

Insight

이번 주 동안 느끼고 깨달은 점

• 이미지 데이터에서 무언가를 활용하려면 이미지 그 자체에 대한 이해도 또한 높아야한다
• 그냥 좋으니까 하는건 없다. 왜 이걸 썼는지, 근거가 잘 받쳐줘야한다
• 아직은 배우는 단계니까 잘 모르지만 살펴봤을 때 이런 것 때문에 이렇지 않을까 하는 가설을 세우는 것도 괜찮다
  가설을 세우고 검증하는 단계에서 배울 수 있다

 

Problem

아쉽고 개선하고 싶은 것

• 건강하게 챙겨먹지 못한게 아쉽다
• 좀 더 체계적으로 기록하고 관리하기
• 이전에 두런두런에서 나온 학습 전략들을 실제로 적용..하진 못한거 같다

 

Emotion

이번 주 감정 점수와 이유

• 6점
• 제대로 하지 못한, 아쉬운 부분들이 크다

 

Try

다음에 시도하고 싶은 구체적인 액션

• 점심 먹고 산책 쭉 유지하기. 너무 추워서 못 나가겠다 싶으면 간단하게라도 집에서 운동해주기
• 운동 쉬는 날에는 2-30분 영상 보면서 스트레칭 해주기
• 오래 앉아있지 말고 일어나서 몸 풀어주기

 

 

산책 중 만난 노릇노릇한 고앵이