[부스트캠프 AI Tech 8기] 19주차 회고

 

 

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

 

 

벌써 19주차도 지나갔다.

강의는 모델 최적화 및 경량화 내용이었는데 다 못봤고.. 그래도 저번에 못했던 Airflow 실습은 챙겨서 해봤다

중간에 이력서 제출도 해야해서 이전에 정리해둔 이력서를 다시 봤는데 으 정말 엉망진창..

렐릿 템플릿을 썼는데 이력서인데 분량이 6장이나 나오는걸 보고서 이게 맞나 싶어서 내용을 추가하기보단 불필요한 내용들을 정리해서 3장까지 줄여서 제출하긴 했다

플젝도 이제 End-to-End로 다 연결된 형태로 완성이 되었고 이제 잘 다듬어서 제출하면 될 것 같다

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

 

19주차에는.. 

 

전에 못했던 Airflow 실습을 했다.  WSL내 가상환경에서 하다가 프로바이더 하나 설치했더니 자기 혼자서 갑자기 버젼업 되면서 디피션시 다꼬이고.. 가상 환경 밀고 새로 해도 여전히 꼬여있는 이슈들을 겪으면서 아 반드시 도커를 써야하는구나 라는 깨달음을 얻을 수 있었다

 

 

 

프로젝트 진행사항으로는

 

1️⃣기존의 백엔드 + 프론트 + RTSP 송출까지 AWS LightSail 서버 하나에 두었다가 EC2 하나 더 추가하면서 LightSail은 RTSP 송출용으로, EC2는 백/프론트 서버로 옮겨서 사용했다

영상의 사이즈가 1920x1080 으로 작은 편이 아니라서 CPU와 컴퓨팅 리소스들을 꽤 많이 잡아먹어서 분리를 하게 되었다

이전에 UDP로 전송하다가 저렇게 주변으로 튀는 물 마냥 프레임이 다 깨져가지고..

이 UDP와 TCP 두 방식에 대해서는 아래의 짤들을 잊을 수가 없다

 

 

 

 

 

2️⃣ 실제 부품들이 컨베이어를 지나가는 영상을 구할 수는 없어서 임의로 유사하게 만든 샘플 영상을 RTSP를 통해 송출, Jetson에서 이 영상을 실시간으로 받고 전처리 알고리즘을 거쳐 인퍼런스 후 이 결과를 백엔드로 전송, 프론트에서 조회할 수 있는 전체적인 틀이 완성되었다

 

무엇보다도 실제와 유사하게 실시간으로 영상 데이터를 인풋으로 받아서 추론을 탐지하고 사용자에게 보여줄 수 있는 결과물이 나오기까지 큰 차질 없이 진행된게 참 다행이라 할 수 있었다

 

여기서 개선하고 고도화할 방향, 부분들은 정말 많다

언어를 C++로 사용해서 처리 속도와 컴퓨팅 리소스 부분을 최적화하거나 AWS의 S3 같은 스토리지를 사용하여 데이터 저장하거나 주고 받는 파이프라인을 더 개선하거나 프론트에서 사용자에게 탐지한 결과에 대해 피드백을 남기거나 (의견 메모 또는 탐지 결과가 정탐인지 오탐인지 등) 현재 연결된 엣지 디바이스의 상태나 주고 받은 데이터 등 여러 지표들을 모니터링하는 기능을 추가한다던가 등등...

하지만 수료까지 레포트와 발표 자료 및 데모 시연 등 정리하고 준비할 내용들이 많기 때문에 지금까지 진행한 내용들부터 잘 정리하고 수료한다음 3월 1일이 대회 마무리여서 남은 2월 동안 추가로 개선 및 고도화를 진행할 예정이다

 

 

 

이전 업무를 맡았던 CCTV와 진행중인 태스크 결함 탐지에서 다르다고 느꼈던 포인트는 (물론 실제 공장, 환경, 케이스별로 많이 다르겠지만) 우리팀에서 가정하고 진행했던 케이스에서 모든 프레임들을 다 인퍼런스할 필요가 없다는 것이었다

 

 

컨베이어를 어떤 부품이 지나가는 탑뷰의 영상에서 실시간으로 추론을 할 때, 화면에 부품이 잘 담긴 프레임도 있겠지만 카메라를 지나쳐서 절반 또는 부품의 일부만 나오면서 잘리는 프레임들이 더 많을 것이다

그러면 모든 프레임에 대해서 이렇게 잘린 프레임에 대해서 추론한다면 결함이 존재하는 하나의 부품에 대해 여러 개의 중복으로 탐지가 발생하면서 오히려 이런 결함 탐지에 대한 신뢰도를 떨어뜨릴 것이다

 

ChatGPT로 만든 예시 사진

 

 

이런 좋은 포인트를 팀원분께서 잘 짚어주셨고 또 다른 팀원분이 프레임마다 부품의 형태를 추출하고 큐에 쌓아서 온전한 형태의 부품 이미지만 인퍼런스하는 전처리 알고리즘을 만들어주신걸 받아서 Jetson에서 돌아가게끔 조금 더 다듬어서 원하는 형태의 결과를 얻을 수 있었다

 

이렇게 진행할 경우 좋은 점으로는 

• 실시간으로 모든 프레임에 대해 인퍼런스를 진행하지 않아도 되기 때문에 컴퓨팅 리소스를 아낄 수 있다 
• 전처리 알고리즘을 통해 큐에 쌓은 이미지들만 인퍼런스를 하면서 비동기로 처리해서 병목과 GPU의 부담을 줄일 수 있다
• 아낀 리소스를 다른 실시간 탐지에 사용할 수 있다. 즉, 하나의 엣지 디바이스에 여러 개의 카메라를 붙여서 처리할 수 있다
• 한 대에 더 많은 카메라를 붙일수록 설치 예산을 줄이면서 비용을 아낄 수 있다

물론 아직은 하나의 인풋에 대해서만 진행을 했으나 이 인퍼런스 및 알고리즘 코드들을 도커파일로 말아서 도커 컴포즈로 여러 개의 컨테이너로 띄우면.. 일단은 이미지 용량을 최대한 가볍게 만들어 보는 것이 내가 해야할 태스크이다

 

아 TensorRT 엔진 빌드용 도커 이미지 따로 만들어서 엔진 파일 만들때만 띄우고 자동으로 삭제하고 (여기엔 쉘 스크립트 하나 같이 넣어주고), 인퍼런스를 하는 런타임 이미지는 빌드에 필요한 라이브러리나 소스들이 필요없으니까 최대한 가볍게 만들 수 있을 거 같고.. 오 좋은데. 이것도 해봐야지.

 

 

 

 

---

 

 

 

 

 

그동안 회고에서 내가 직접 구현을 해보자- 라고는 했으나.. 일단 진행이 되어야 하고 결과가 나와야해서 제대로 실천하지는 못했다

하지만 수박을 수십만번 핥으면 어쨌든 머리에 들어온다는 말처럼.. 계속 붙잡고 있으니까 점차 머리에 조금씩 들어오긴 하는데 이건 휘발성이니까 제대로 남기려면 정말 30분이라도 꼭 시간을 투자해야겠다

 

 

요즘은 안티그래비티를 주로 사용하고 있는데 늘 그냥 원하는걸 해달라고 하기보단 현재 코드들을 설명을 먼저 해달라고 요청한다

그리고 엄청 따진다. 이거 진짜 맞냐, 이거 바꿔도 괜찮은거 맞냐, 논리적으로 합당하냐, 근거/팩트 체크 교차검증 했냐 등등... 이렇게 물어보면 어디의 어떤 부분을 가져오거나 설명을 열심히 해주는데 그런 것들을 보면서 조금씩 이해가 되는 것 같다

 

물론 지금도 손코딩으로 FastAPI에서 했던 실습을 혼자서는 못하지만.. 먼저 config 넣고.. 스키마에 들어오는 데이터 형태 넣고.. 디비에서 테이블 초기화하면 API 라우터 부분에서 넣어주고 등등.. 대략적인 흐름이 들어오는데 나중에 면접을 대비해서라도 매일 뜯어보고 공부하는 시간도 같이 가지려 하는 중이다

 

큰 차질 없이 잘 진행되어 왔으니 마지막까지 잘 정리해서 취업, 포폴에 쓸 수 있는 좋은 결과물로 만들어야겠다