[Jetson Orin Nano] Jetson에서 YOLO Docker 간단하게 사용해보기

 

 

이전 이슈 해결 후 설치까지 완료함

 

 

https://bh-kaizen.tistory.com/86

[Jetson Orin Nano] 셋업 중 부팅 및 크롬 동작X 이슈

 

 

 

Docker 설치 체크

 

 

설치에 이어서 Jetson 인퍼런스 환경을 만들어서 정상 동작하는지 테스트를 하고자함

모델 인퍼런스할 때 가상환경을 만들어서 사용하기 보단 나중에 배포하는 것까지 고려해서 도커를 사용하기로 선택했다

일단은 Yolo 모델이 담긴 이미지를 활용하거나 없다면 Jetson GPU 관련 베이스 이미지에 Dockerfile을 말아서 빌드해보는 것도 좋을 것 같음

Yolo 라이브러리 용량이 크다보니 Product Serving 강의에서 성윤님이 말씀해주신 이미지 최적화 방법을 꼭 적용해볼 필요가 있다

 

그럼 디바이스에 도커 설치부터.

도커를 처음부터 설치해야할까? 다행히도 Jetpack 에는 도커가 포함되어 있다

다만 사용자 그룹에 추가되어 있지 않아서 도커 명령어를 실행하면 아래와 같은 권한 이슈를 출력한다

 

 

지금은 docker 데몬에 접근할 권한이 없음

• Docker는 백그라운드 데몬(dockerd) 이 root 권한으로 떠 있음
• 일반 유저가 /var/run/docker.sock에 접근하려면 docker 그룹에 속해 있어야 함
• 지금 내 유저는 docker 그룹 소속이 아님
• sudo docker 명령어로 사용은 할 수 있으나.. 매번 sudo 붙이기 번거로움

 

 

아래 명령어 통해서 그룹에 docker 추가 후 재부팅하면 sudo 없이 잘 동작함

sudo usermod -aG docker $USER

 

 

 

다음은 YOLO 도커 이미지를 찾아보는 것

 

 

 

YOLO Docker on Jetson

 

 

일반적인 Ultralytics 도커 이미지를 사용하면 안되고.. Jetson에 맞춰진 버젼을 사용해야함

다양하게 만들어진 도커 이미지들이 존재하지만 역시 먼저 시도해볼 건 공식 문서 가이드

아래는 공식 문서이다

 

 

https://docs.ultralytics.com/ko/guides/nvidia-jetson/

빠른 시작 가이드: Ultralytics YOLO26과 함께하는 NVIDIA Jetson

 

 

 

Jetpack 6.0 을 사용하고 있으므로 6버젼의 이미지를 pull하여 다운로드

docker pull ultralytics/ultralytics:latest-jetson-jetpack6

 

 

하지만 이렇게 설치한 이미지에는 문제가 있었으니...

 

무려 14.6 GB. 용량이 커도 너어어어어어어어무 크다

이 용량을 어떻게 줄여서 최적화할 것인지도 중요한 포인트가 될 것으로 보인다

이 이미지는 학습, 개발용 이미지라 필요한 모든걸 다 넣어서 용량이 엄청 크다..

우리는 학습 GPU서버가 따로 있기 때문에 인퍼런스용 이미지를 사용해야 한다

 

 

user@user-desktop:~$ docker run -it --rm --runtime=nvidia --gpus all --ipc=host ultralytics/ultralytics:latest-jetson-jetpack6 
docker: Error response from daemon: failed to set up container networking: failed to create endpoint vigilant_williamson on network bridge: Unable to enable DIRECT ACCESS FILTERING - DROP rule:  (iptables failed: iptables --wait -t raw -A PREROUTING -d 172.17.0.2 ! -i docker0 -j DROP: iptables v1.8.7 (legacy): can't initialize iptables table `raw': Table does not exist (do you need to insmod?)
Perhaps iptables or your kernel needs to be upgraded.
 (exit status 3))

 

 

에러 핵심 한 줄:

iptables --wait -t raw -A PREROUTING ... Table does not exist (do you need to insmod?)

• Docker가 bridge 네트워크 생성 중
• iptables raw table을 쓰려 했는데
• Jetson 커널에 raw table 모듈이 로드 안 되어 있음
• JetPack 6 + L4T 36.x에서 기본 커널 설정 이슈
• YOLO / CUDA / PyTorch랑 전혀 무관
• --network=host 사용하기

docker run -it --rm \
  --runtime=nvidia \
  --gpus all \
  -v $(pwd):/workspace \
  -w /workspace \
  --ipc=host \
  --network=host \
  ultralytics/ultralytics:latest-jetson-jetpack6

 

 

컨테이너 생성 후 it모드로 잘 들어가짐

다음은 컨테이너에서 torch 및 GPU 사용 가능 여부 체크.

root@user-desktop:/ultralytics# python3 - << 'EOF'
import torch
print("torch:", torch.__version__)
print("cuda available:", torch.cuda.is_available())
print("device:", torch.cuda.get_device_name(0))
EOF
torch: 2.5.0a0+872d972e41.nv24.08
cuda available: True
device: Orin

 

정상. 아직까진 이상 없음.

내부를 살펴보면 이렇게 구성되어 있는데 ultralytics 깃헙의 내용들이 있음을 확인할 수 있다

 

 

이미 라이브러리들이 다 설치되어 있어서 cli 명령어를 사용하거나 py를 만들어서 간단하게 테스트 진행 가능하다

사용 목적으로 디텍션 인퍼런스만 한다면 학습에 필요한 부분이나 여러 불필요한 소스들을 덜어서 최적화를 해볼 수 있지 않을까 싶다

yolo predict model=yolov8n.pt source=https://ultralytics.com/images/bus.jpg device=0

 

 

 

인퍼런스 정상 동작 확인 완료. 

내친김에 엔진 파일로 export 해서 한번 비교해봅시다

 

yolo export model=yolov8n.pt format=engine device=0

 

 

 

네 잘 만들어집니다. 그럼 엔진 파일로도 기본 예제인 bus.jpg로 인퍼런스해서 yolov8n.pt와 한번 비교해봅시다

 

yolov8n.pt
Speed: 
- 8.9ms preprocess, 
- 173.9ms inference, 
- 63.5ms postprocess per image at shape (1, 3, 640, 480)

yolov8n.engine
Speed: 
- 8.5ms preprocess, 
- 145.8ms inference, 
- 25.6ms postprocess per image at shape (1, 3, 640, 480)

 

 

Type	preprocess	inference	postprocess
Yolov8n.pt	8.9ms	173.9ms	63.5ms
yolov8n.engine	8.5ms	145.8ms	25.6ms

 

이미지 한 장에 대해서만 간단히 체크해보았다

 

 

지금 사용한 이미지는 개발용, 그러니까 학습까지 고려했기 때문에 용량이 매우 큰데 인퍼런스 전용으로만 한정하면 좀 더 가벼운 이미지들이 존재한다

사실 엔진 파일만 받아서 쓰면 pytorch 등은 없어도 괜찮기 때문에..

 

 

 

Inference Docker Image

 

 

추론용 도커 이미지를 제공하는 곳이 여러 곳 존재한다

공식 문서의 카탈로그를 확인하거나 또는 관련 깃허브에도 관련 내용이 잘 정리되어 있다

 

 

 

 

 

Jetson용 TensorRT & Runtime 기반 컨테이너

 

 

https://developer.nvidia.com/embedded/jetson-cloud-native

Cloud-Native on Jetson

 

 

 

 

 

 

 

 

dusty-nv/jetson-containers github

 

 

Nvidia Jetson 개발자의 레포로 사실상 공식 레포나 마찬가지

 

 

https://github.com/dusty-nv/jetson-containers

GitHub - dusty-nv/jetson-containers: Machine Learning Containers for NVIDIA Jetson and JetPack-L4T

 

 

https://hub.docker.com/r/dustynv/tensorrt

dustynv/tensorrt - Docker Image

 

 

 

---

 

 

 

 

인퍼런스만 고려한다면 이미지 용량을 14GB 에서 4~5GB 정도로 거의 10GB에 가까운 용량을 줄일 수 있다

Yolov8n.engine 으로 위의 두 이미지 기반 컨테이너에서 인퍼런스가 잘 동작하는지 체크해보고 또 내용 추가하기

엔진 파일만 넣고 인퍼런스 돌리는건.. 꽤나 복잡하고 고려해야할 부분들이 엄청 많아서 따로 정리하는게 좋을 것 같다