[부스트캠프 AI Tech 8기] 18주차 회고

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

 

 

이번 주는 Product Serving 강의 2주차이자 마무리되었고 내일부터, 19주차부터는 모델 최적화 및 경량화 교육이 진행된다

할 것들은 너무너무너무 많은데 방향성 정리가 잘 안되서 헤매는 부분도 있었고.. 집중을 좀 더 했으면 좋았을텐데 여러모로 아쉬움이 많았다

강의는 다 듣긴 했지만 과제는 손도 못댔고 FastAPI 실습만 따라서 쳐본게 너무 아쉽다.. Airflow 부분도 제대로 못보고 실습도 못했다..

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

 

이번 18주차 동안 최종 프로젝트가 순항..? 그래도 나쁘지 않게 진행되고 있다

엣지 디바이스 - 백엔드 - 프론트로 이어지는 큰 뼈대는 얼추 잡혔고.. 학습한 모델 파일이나 onnx를 TensorRT로 변환해서 성능들을 비교해보기도 했다

 

초반 OS 설치 중 부팅하는데 갑자기 전원이 꺼지면서 셧다운 되길래 역시 쉽게 설치가 안될 줄은 알았지만 바로 막힐 줄이야...

부팅 중에 전원이 자꾸 꺼지길래 전력이 충분하게 공급되지 않는 전원 케이블, 어댑터 이슈인가 생각했는데 어댑터는 같이 들어있는거 사용했고 전원 케이블은 박스에 들어있던 거랑 완전히 똑같은 사양으로 사용했는데.. 다행히 이 부분은 아니였다

아래 글에서 간단히 정리했지만 디바이스의 펌웨어 버젼과 설치하려는 OS, Jetpack 버젼이 안맞아서? 발생한 이슈였다

 

https://bh-kaizen.tistory.com/86

[Jetson Orin Nano] 셋업 중 부팅 및 크롬 동작X 이슈

 

 

 

 

그리고 설치하는데 도움을 많이 받았던게 아래의 글

 

https://mvg01.tistory.com/45

NVIDIA Jetson Orin Nano Super DevKit(8GB) Settings

 

• 펌웨어 3.0: JetPack 5.1.3만 설치 가능 (필자는 펌웨어 버전 3.0 이었음)
• 펌웨어 36.3.0 이상: JetPack 6.0 이상 설치 가능 => 이 경우 3단계로 넘어가세요.

 

펌웨어가 최신 버젼이면 이전 버젼들의 JetPack도 설치가 지원되긴 할텐데.. 아래 포럼글도 그렇고 YOLO 문서에서도 Jetson Orin Nano 는 JetPack 5, 6 버젼을 지원한다고 나와있다

 

 

https://forums.developer.nvidia.com/t/brand-new-jetson-orin-nano36-4-3-wont-boot-jetpack-4-6-1/349681/6

Brand new jetson orin nano36.4.3 wont boot jetpack 4.6.1

 

https://docs.ultralytics.com/ko/guides/nvidia-jetson/#flash-jetpack-to-nvidia-jetson

 

 

 

와 찾았다. 나랑 정확히 똑같은 증상의 내용이다

심지어 펌웨어 36.3.0 에서 JetPack 5버젼 설치하다가 셧다운되는 것도 동일하다

 

https://forums.developer.nvidia.com/t/jetson-orin-nano-not-booting-with-jetpack-5/314107

Jetson Orin Nano not booting with Jetpack 5

 

https://forums.developer.nvidia.com/t/about-jetson-orin-nano-is-adapted-to-jetpack/331255

About Jetson Orin Nano is adapted to jetpack

 

아쉽게도 여기서 명확한 해결 방법은 공유되지 않았다..

위의 이슈들은 JetPack 5버젼을 사용해야만 하는 이유가 있었는데 우린 상관이 없어서 정말 다행이였다.. 시작부터 크게 막힐 뻔 했다..

 

그 외에도 크롬이 실행 안되는 이슈가 있었는데 이 내용은 우분투 버전업이 되면서 거의 대부분의 디바이스에서 발생했던 문제라 커뮤니티에서 이슈가 많이 되어서 그런지 바로 해결방법을 찾아서 넘길 수 있었다

 

 

그리고 YOLO 모델 인퍼런스 하려는데 나중에 모델 배포와 디바이스에 모델 여러개 붙여서 처리하는 형태를 생각하면 도커가 적합할 것 같아서 도커 채용..

 

https://bh-kaizen.tistory.com/87

[Jetson Orin Nano] Jetson에서 YOLO Docker 간단하게 사용해보기

 

그러나 Ultralytics 공식이 제공하는 이미지는 학습까지 사용하는 이미지라 용량이 14GB로 너무 커서 인퍼런스만, 그것도 pt가 아닌 TensorRT 엔진 파일로 추론하는 형태라면 많이 가벼워질 것 같은데...

 

YOLO 라이브러리는 pt 파일만 넣으면 엔진 파일 변환과 인퍼런스 및 여러 성능 지표들 계산까지 정말 간편하게 사용할 수 있다

하지만 TensorRT 만 있고 engine 파일로 추론하는 형태라면 추론과 NMS나 성능 지표들 계산하는 부분들이 직접 코드로 만들어서 써야 하는 부분이 있어서 AI의 도움을 받더라도 정말 제대로 구현이 잘 되었는지 검증을 잘 해줘야할 것 같다

 

 

 

추가로 모델 인퍼런스나 엔진 파일 변환시 저렇게 EMC에 로드가 무지막지하게 걸리는 이슈도 있어서.. 엣지 디바이스의 안정적인 유지를 위해 이 부분에 대해서도 해결 방법을 찾아보는 중이다..

 

 

 

암튼 이렇게 엣지 디바이스에서 추론한 내용들이 FastAPI 통해서 백엔드 서버로 전송되고 이것들을 프론트에서 보여주는 형태로 이루어져있다

이제 다음 스텝은.. 멘토님께서 잡아주신 방향대로, 모델링 보다는 전체적인 파이프라인 구축과 엔지니어링 부분을 보완하고 개선하는 쪽으로 진행하기로 했다

 

그리고 팀원분 덕분에 Tailscale 이라는 좋은 툴을 알게되었다

 

https://tailscale.com/

Tailscale | Secure Connectivity for AI, IoT & Multi-Cloud

 

 

https://svrforum.com/svr/940760

Tailscale이란 무엇인가?? 기본적인 개념과 사용방법.

 

 

https://blog.ewq.kr/68

간단하게 Tailscale VPN 세팅하기

 

네트워크.. 넘나 어려운 것..

 

 

---

 

 

 

 

지난 주에는 다짐과 동시에 실행, 루틴에 너무 매몰되지 않기, 하루 투두에만 집중해보기 - 라고 적었는데 잘 실천했는가 생각해보면 시도는 했으나 생각처럼 잘 되진 않았던 것 같다

 

하루하루에 대한 변동성이 많이 커졌다. 투두에 적었던 것들 중 한 두가지들이 생각 외로 오래 걸리면서 시간을 다 잡아먹기도 하고 해야할 것들이 새로 생기기도 하면서 보통은 공부 부분을 미루게 되었다

그래서 FastAPI 실습이나 직접 구현해보는 공부를 하기로는 했으나 계획했던 것만큼 시간을 들이진 못해서 아쉬웠는데 하루 1시간이라도 계속 투자하도록 투두에 넣고 아침 루틴 이후에 가장 첫 투두로 실행해야겠다

 

그리고 결과물을 어떻게든 만들어야하니 AI를 쓸 수 밖에 없지만.. 복붙만 하지 말고 알려준 것 중 내가 모르는 것이 무엇이고 이거 왜 쓰는지, 정말 이것 외에는 다른 좋은 방법이 없는지, 내가 이걸 이해하려면 어떻게 하면 좋을지 등 정말 까다롭게 굴어서 AI를 더 귀찮게 만들어야겠다

 

요새 김동현의 밈이 유행인데 본받아서 정말 열심히 해야겠다

 

스트레스 많이 받을거야.. 공부 많이 된다! 큰 경험 된다! 진짜 많이 배운다!

 

 

https://youtu.be/Y12ZQzh12Rw?si=7_lhzGN6w1azH8K0