이미지 이상 탐지 _ 간단하게 기획해보기

 

 

 

 

 

인트로

• 이번 글은 사이드 프로젝트로 어떤 걸 해야할까 하다가 문제 정의까지 간단하게 기획했던 내용을 가져와봤다
• 현재 사용하기로한 데이터는 MVTecAD 데이터셋. 15개의 물체에 대해 각각 정상과 여러 유형의 파손 이미지들이 담겨 있고 파손 이미지에 대해 마스킹 이미지까지 같이 들어있다
• 이 데이터셋을 EDA하고 전처리하고 논문보고 모델 공부해서 모델링해서 이상 탐지를 하는 모델 만들기. 그리고 그 모델의 성능을 높이며 고도화하기. 받은 데이터를 적합한 모델을 가져와서 돌릴 수 있는 정도… 나쁘지 않다. 그렇지만 이건 단순히 데이터 가져와서 모델 돌려보는 정도에 그쳐버린다
• 이러한 접근법은 간단한 토이 프로젝트 정도이다. 실무의 관점이 전혀 고려되지 않거나 고려되더라도 미미한 수준. 문제를 해결한다는 관점보단 데이터를 만지고 모델을 돌려보는 단순한 부분에만 초점이 맞춰져있다
• 단순히 모델 돌리는 것을 넘어 실무의 관점에서 봐야한다. 어떤 문제들이 발생할 것으로 예상되는지, 거기에 따른 어떤 대처법을 사용할 것인지를 고려해야 한다

 

 

 

---

 

 

 

 

1. 상황 설정 및 문제 정의

 

기업 입장에서 다루는 문제가 무엇인지, 현재 문제 정의를 똑바로 하고 어떻게 해결할 것인지, 어떤 것들을 신경써서 다뤄야 하는지
만든 뒤에 리뷰를 하면서 속도와 성능은 어느정도이며 어떻게 이를 실제 산업에 적용할 수 있을지, 어떤 상황에 적합하고 부적절한지와 같은 다양한 가설 설정과 예외 처리에 신경 쓰는 것이 중요하다
by 정새

 

 

1-1. 상황 설정

1-1-1. 배경

• 제조업체 A는 다양한 품목을 대량생산하여 납품하는 업체이다. 매번 발생하는 불량품들을 줄이고 생산 과정과 납품 전에 불량품을 모니터링하지만 기존의 시스템으로는 개선의 한계를 느끼고 AI를 활용 해보려한다
• 따라서 제조업체 A는 제조 환경과 설비 등의 개선을 통해 결함이 발생하는 빈도를 줄임과 동시에 자동화된 결함 탐지 시스템에 AI를 도입하여 결함품의 탐지율을 높임으로써 검사 과정을 효율화하고 정확도를 높이려 한다
• 당신은 CCTV 혹은 공장에 설치된 카메라들의 영상, 이미지 데이터를 받아 부품의 결함, 이상을 탐지해내는 AI 리서쳐 엔지니어이다
• 클라이언트의 요구는 생산 라인에서 실시간으로 결함을 탐지하여 불량품을 조기에 발견하고, 이를 통해 고객에게 전달되는 결함 제품의 수를 최소화하는 것이다
• 실제 현장의 데이터를 얻을 수는 없기 때문에 오픈 소스인 MVTecAD 데이터셋을 클라이언트에게 받은 데이터셋으로 가정한다. 제조업체 A는 MVTecAD 데이터의 15개 클래스 품목을 생산하며 각 품목들의 결함 탐지를 원한다.
• 품목에는 나무 장판, 스크류, 너트, 알약 캡슐, 헤이즐넛, 카페트, 정제 알약, 미세 철망, 지퍼, 트랜지스터, 대리석 타일, 가죽 재료, 칫솔, 병, 케이블 15개가 존재함

++ 실제로 실무에서 이런 프로젝트를 받는다면 어떤 점들을 생각해야할까??

✅ 클라이언트의 구체적인 니즈 파악. 결함 탐지인데 어떤 환경에서, 상황에서 구체적으로 무엇을 탐지해야 하는지.

 

 

 

1-1-2. 결함 탐지의 중요성과 기대 효과

딥러닝을 활용한 결함 탐지라는 서비스를 만들고 제공함으로써 어떤 것을 제공할 수 있을까??

이런 부분은 영업, 비즈니스와 관련된 부분이기에 이해도가 부족하지만 내가 만드는 것을 통해 어떤 것을 전달하겠다, 클라이언트가 이 제품을 통해 어떤 것을 가져갔으면 한다 라는 명확한 포인트가 있어야한다고 생각한다

 

다만 어떤 기대 효과를 줄 수 있는지 정확히 알 수 없기에, ChatGPT 와 브레인스토밍 해보며 어떤 것을 줄 수 있을지 정리해보았다

 

 

1. 품질 보증

• 고객 신뢰: 높은 품질의 제품을 지속적으로 제공함으로써 고객의 신뢰를 유지할 수 있습니다. 결함 있는 부품이 고객에게 전달될 경우, 신뢰도가 떨어지고 브랜드 이미지가 손상될 수 있습니다.
• 규격 준수: 제조업체는 제품 품질과 관련된 산업 표준과 규정을 준수해야 합니다. 결함 탐지를 통해 이러한 규격을 준수할 수 있습니다.

 

2. 비용 절감

• 재작업 및 폐기 비용 감소: 결함 부품이 생산 과정 초기에 발견되면, 재작업 또는 폐기 비용을 줄일 수 있습니다. 최종 제품 단계에서 결함이 발견되면 비용이 크게 증가합니다.
• 보증 및 반환 비용 절감: 결함 제품이 시장에 출시될 경우, 보증 수리 및 제품 반환 비용이 발생합니다. 이러한 비용을 사전에 차단할 수 있습니다.

 

3. 생산 효율성 향상

• 공정 개선: 결함 데이터를 분석하여 생산 공정을 개선할 수 있습니다. 특정 공정에서 반복적으로 결함이 발생하는 경우, 해당 공정을 수정하거나 개선하여 결함 발생률을 줄일 수 있습니다.
• 예방 유지보수: 결함 탐지 시스템을 통해 설비의 이상 징후를 조기에 발견하고, 예방 유지보수를 통해 설비의 고장을 사전에 방지할 수 있습니다.

 

4. 안전성

• 제품 안전: 특히 자동차, 항공, 의료 기기 등 안전과 직결된 산업에서는 결함 부품이 큰 위험을 초래할 수 있습니다. 결함 탐지를 통해 제품의 안전성을 보장할 수 있습니다.
• 작업자 안전: 제조 공정 중 결함으로 인해 발생할 수 있는 사고를 예방하여 작업자의 안전을 보호할 수 있습니다.

 

5. 생산성 향상

• 자동화 및 효율화: 결함 탐지 시스템을 자동화함으로써 검사 속도를 높이고, 인력의 효율적인 활용이 가능합니다. 이를 통해 전체적인 생산성을 향상시킬 수 있습니다.
• 실시간 모니터링: 실시간으로 결함을 탐지하고 대응할 수 있어 생산 라인의 가동 중단을 최소화할 수 있습니다.

 

6. 데이터 활용

• 데이터 기반 의사 결정: 결함 탐지 데이터를 통해 생산 공정, 품질 관리, 유지보수 등의 의사 결정을 데이터 기반으로 수행할 수 있습니다.
• 지속적 개선: 수집된 결함 데이터를 분석하여 지속적으로 제품과 공정을 개선할 수 있습니다.

 

7. 경쟁력 강화

• 차별화된 품질: 결함 없는 고품질 제품을 지속적으로 생산하여 시장에서의 경쟁력을 강화할 수 있습니다.
• 혁신 주도: 최신 결함 탐지 기술을 도입하고 적용함으로써 기술적 혁신을 주도할 수 있습니다.

결론

제조업에서 부품의 이상 및 결함 탐지는 단순한 품질 관리 차원을 넘어, 비용 절감, 생산 효율성 향상, 안전성 확보, 데이터 기반 의사 결정, 경쟁력 강화 등 다양한 측면에서 중요한 의미를 갖습니다. 이는 궁극적으로 기업의 지속 가능성과 성장에 기여하는 핵심 요소입니다.

 

[생산관리] 공장 생산실적 지표 안내서

딥러닝으로 검사의 자동화를 구현하는 방법 - 블로그 | 코그넥스

핵심 성과 지표】 제조업 KPI 예시 및 주의점

---

 

1-2. 문제 정의

• 클라이언트의 요구는 생산 라인에서 실시간으로 결함을 탐지하여 불량품을 조기에 발견하고, 이를 통해 고객에게 전달되는 결함 제품의 수를 최소화하는 것.
  ⇒ 제조 과정에서 부품의 결함과 이상을 실시간으로 탐지하여 생산 품질을 향상시키고 불량품 유통 방지.

기업에서 다루는 문제

• 품질 관리 문제: 제품 생산 과정에서 발생하는 결함 탐지.
• 결함 탐지 필요성: 사람의 시각적 검사로는 놓치기 쉬운 미세한 결함까지 자동으로 탐지.
• 속도 및 성능: 실시간 결함 탐지를 위해 탐지 속도와 정확도가 중요.

해결하고자 하는 문제

• 정상과 비정상 이미지 구분: 제품 이미지에서 정상과 결함을 자동으로 구분.
• 결함 유형 식별: 결함의 종류(예: 구멍, 스크래치 등)를 정확히 식별.
• 실시간 탐지: 생산 라인에서 실시간으로 결함을 탐지할 수 있는 모델 개발.
• 결함 발생 제품 식별 : 결함을 발견했다-로 끝나는 것이 아니라, 어느 시리얼 넘버의 생산품에 어떤 결함이 발생했는지 인지해야 적절한 대응 가능

 

 

1-2-1. 유의사항

클라이언트에게 요청 받아 데이터 받고 모델 학습해서 적용하는 것만으로 실제 서비스는 돌아가지 않는다...어떻게 주변 환경을 구성하여 적용할 것인지 고려해야할 부분들이 많다이러한 부분들을 생각하여 유의사항을 몇 가지 정리해보았다

• 실시간성. 제조업, 공장에서 생산하는 품목의 수는 엄청 많음. 한 번, 하루 등 일정 기간 공장이 가동했을 때 불량품이 어느정도 나오는지를 빠르게 파악하는 것이 중요. 따라서 생산과 동시에 양품 판정이 빠르게 이뤄져야함.
• 리소스. 인퍼런스에는 적지 않은 GPU와 클라우드 등의 자원들이 필요함. AI를 도입함으로써 절감되는 비용이 도입시 드는 비용보다 더 커야함.
• 결함의 유형. 탐지해야할 결함에 어떤 유형들이 있는지 사전 정보 필요.
• 제품의 특성. 제품에 따라 어떤 유형의 결함들이 주로 발생하는지 사전 정보 필요.
• 시각화. 어떤 부품에서 어떤 결함이 어디에 발생했는지를 명확하게 볼 수 있어야함. 이를 통해 현장 책임자와 관리자가 대응할 수 있도록 도와줌.

 

1-2-2. 가설 설정 (+예외 상황)

• 모델 학습 가능 여부
  • 정상 부품 이미지와 결함 부품 이미지 간에는 눈에 띄는 시각적 차이가 있으며, 이를 통해 모델이 결함을 탐지할 수 있다
  • 결함 유형별로 고유한 패턴이 존재하며, 모델이 이를 학습하여 결함 유형을 정확히 구분할 수 있다
  • 영상, 이미지에서 정확히 어느 위치에 어떤 결함이 발생했는지 모델이 학습하고 위치와 유형을 추정할 수 있다

• 데이터 확보 가능 여부
  • 데이터를 따로 저장 및 관리하지 않고 주기적으로 삭제한다면 - 충분한 데이터를 확보하기 어려울 수 있다
  • 결함의 발생은 양품에 비해 적은 것이 당연하므로 결함 이미지 데이터가 매우 많이 부족한 경우가 많다. 혹은 결함 이미지 데이터가 아예 존재하지 않을 수도 있다.
  • 극단적인 경우 정상 이미지 데이터마저 학습하기에 부족할 수도 있다

• 외부 조건 및 데이터의 형태
  • 설치된 카메라의 위치와 각도, 주변 조명 등 외부적인 요소로 인해 식별하기 힘든 이미지 데이터를 다뤄야할 수도 있다
  • 카메라 위치와 각도로 인해 일부 혹은 결함이 가려짐
  • 조명으로 인해 일부가 가려지거나 색으로 인해 결함 식별이 어려움
  • 작업자마다 설비 설정을 다르게 작업하는 경우 각각의 개인차가 존재할 수 있음
  • 기존의 불량 판별 시스템이 존재하기 때문에 실시간으로 입력받는 데이터는 전체 이미지가 아닐 수도 있고 알고리즘을 거쳐 일부가 크롭된 형태의 이미지일 수도 있다
  • 여러 환경적인 요소로 인해 같은 결함이지만 다양한 형태를 가지고 있을 수 있음
    ex) 방향이나 위치, 색, 형태 등등…

• 클라이언트 요청
  • 탐지해야하는 결함 유형에는 육안으로 확인하기 힘든, 정말 작은 5x5 픽셀 정도와 같은 미세한 크기의 결함 유형이 있을 수 있다
  • 불량률이 1%보다 더 낮은, 정말 0.000001%의 극도로 적은 확률로 발생하는 결함 유형이 있으나 발생할 경우, 혹은 검출하지 못해 불량품이 납품될 경우 설비나 납품하여 만드는 완제품에서 치명적인 결과를 초래할 수도 있음 ⇒ 따라서 오탐이 많이 발생할지라도 반드시 잡아야하는 치명적인 결손 유형이 존재할 수 있다

• 모델 적용 후 모니터링
  • 알고리즘 개발 기간은 2개월. 이후 2-3개월 정도 알고리즘 적용 후 모니터링 및 문제 개선, 고도화 기간이 필요. 이 부분은 클라이언트 측과 조정 필요
  • 어떤 유형의 오탐지가 주로 발생하는지, 오탐지 패턴 분석 후 개선 작업 필요. 진행 상황 전달을 위해 오탐지 분석에 대한 레포트를 클라이언트 측에 전달 및 프레젠테이션 요구됨
  • 오탐지를 어떻게 해결할 것인지, 알고리즘의 고도화를 어떻게 진행할 것인지

 

 

 

---

 

 

 

2. 접근법

 

위의 유의할 점과 가설 설정에 따른 접근법, 실무의 상황까지 고려하여 떠오르는 생각들을 정리하였다

 

 

2-1. 유의사항에 따른 접근법. 고려사항

• 결함의 유형 및 제품의 특성
  • 클라이언트 측과 논의하여 관련된 정보를 얻고 탐지 유형을 정확하게 정해야함
    • 클라이언트의 요청을 결함이 발생한 부위를 마스킹하고 어떤 결함인지 식별로 가정함.
      ⇒ Object Detection 또는 Segmentation으로 접근해야함.
    • 품목은 15개. 각각에 대해서 어떤 결함이 발생했는지 분류까지.
• 시각화
  • Object Detection이나 Segmentation으로 탐지한 결함 부위와 유형을 어떻게 클라이언트에서 보여줄 것인지, 탐지시 알람을 전달해주는 부분이 필요
  • 이 부분은 웹 플랫폼과 연계되는 부분이므로 인퍼런스를 통해 탐지한 결과(이미지와 마스킹, 바운딩박스 좌표)를 어떻게 보낼 것인지-까지가 다뤄야하는 영역. 받은 정보를 웹에서 띄우는 건 웹 담당팀이 진행할 부분
  • 인퍼런스 후 어떤 정보들을 어떻게 보낼 것인지. 후처리 알고리즘이나 코드를 어떻게 작성해볼지
• 실시간성
  • 카메라의 실시간 영상을 받아서 처리할 수 있어야하므로 인퍼런스 속도가 굉장히 빨라야함
    (실시간으로 처리하려면 초당 몇장의 이미지를 처리해야 있는지, 인퍼런스 속도가 몇 ms가 나와야하는지 정확한 기준 필요)
  • 탐지 성능이 크게 떨어지지 않으면서도 실시간으로 처리할 수 있을 정도의 가벼운 알고리즘을 선택해야함
  • 가벼우면서도 성능이 좋은 Yolo, EfficientAD 모델들을 후보군으로 고려
  • 성능을 올리기 위해 2차 인퍼런스를 사용해볼 것인지, 만약 사용한다면 실시간으로 가능한지 체크
• 리소스
  • 클라이언트 측이 어느 인퍼런스 환경을 사용할 것인지 사전 정보에 따라 인퍼런스 환경과 파이프라인 셋팅이 필요함 ← 이 부분은 클라이언트의 엔지니어와 같이 협업 필요. (온프레미스 or 클라우드)
  • 클라우드를 사용한 인퍼런스 서버에서 구축하는지 아니면 인퍼런스용 소형 컴퓨터나 물리 서버를 사용할 것인지
    둘 중 어느쪽이 비용이 더 효율적일지.
  • 모델이 가벼울수록 컴퓨팅 비용이 줄어들어 리소스를 아낄 수 있으나 그만큼 성능이 다소 떨어지는 트레이드 오프가 있으므로 어느 정도 크기의 모델을 사용할 것인지 기준이 필요
  • TensorRT, Onnx와 같은 툴을 활용하여 모델 경량화 및 최적화
  • 모델이 최대한 가벼우면서도 성능을 어느정도 보장해야 하기 때문에 실시간성과 같은 조건이 요구됨

---

2-2. 가설에 따른 접근법. 고려사항

• 모델 학습 가능 여부
  • 15개의 클래스에서 각 클래스별 결함의 종류까지 판별하는 통합 모델 개발이 가능한가??
  • Object Detection
    • 라벨링된 파일이 없어서 직접 라벨링 해야함.
  • Segmentation
    • 데이터가 적긴 하지만 가능. 마스크 이미지가 존재함.
  • Anomaly detection
    • 정상과 비정상 이미지의 시각적 차이를 학습할 수 있는지 검증
      → 관련된 내용 리서치와 간단한 선행연구 진행해보거나 빠른 베이스라인 구축.
    • ⇒ anomaly detection 모델들을 통해 정상 데이터를 학습시키고 비정상 이미지들을 테스트셋으로 사용하여 정상/비정상 분류 가능. 하지만 데이터와 모델 특성상 모델 하나에 클래스 하나만 가능.
• 데이터 확보 가능 여부
  • 결함 이미지 데이터가 부족하거나 없을 수도 있으며 정상 이미지 데이터도 마찬가지. 기존에 구축된 데이터가 없어서 새롭게 수집하여 가공하는 작업이 필요할 수도 있음 (영상 녹화, 검수 후 라벨링)
  • 결함 데이터가 없더라도 정상 데이터만으로 활용하여 결함 존재 여부를 파악할 수 있어야함
    ⇒ 정상 이미지 데이터만으로 결함 여부를 판단할 수 있는지, 비지도학습 방법을 고려할 것
  • 데이터가 부족할 경우 일부 샘플을 사용해 결함을 연출하여 데이터를 수집할 수 있는지 여부 체크.
    • Image Generation 기능을 활용하여 실제 결함과 유사한 가상의 결함 데이터를 더 많이 확보
      ++새로운 생산 라인에 존재하지 않은 결함에 대해 빠른 서비스 도입
  • 데이터 증강이 적용 가능할지, 적용한다면 어떻게 적용할지 고려
• 외부 조건 및 데이터의 형태
  • 실제 데이터를 확인하면서 결함 유형 뿐 아니라 어떤 예외 케이스가 발생하는지, 외부 환경 요소들이 조정 가능한지 확인
  • 예외 케이스에 대해 어떻게 이미지들을 처리할 것인지, 이미지에 어떤 전처리를 해주면 모델이 결함을 좀 더 잘 학습을 할지에 대해 리서치 필요
• 클라이언트 요청
  • 단순히 결함 탐지하는 것만을 넘어 미세한 크기의 결함 탐지는 어떻게 할 것인지, 해당 기능이 구현된 모델이나 관련된 알고리즘이 있는지 찾아보기
  • 치명적인 결함이 존재할 경우 해당 결함에 포인트를 맞추고 좀 더 집중적으로 해결방안을 찾을 것.
• 모델 적용 후 모니터링
  • 오탐지 데이터들을 수집하여 모델에 재학습을 어떻게 할지, 한다면 성능이 향상되는지 확인
  • 인퍼런스 후에 후처리 알고리즘을 적용하는 방법은 어떨지, 적용한다면 어떤 알고리즘을 활용해보면 좋을지

 

 

 

 

 

---

 

 

 

 

3. 정리 및 앞으로 적용할 점들

 

3-1. 태스크 및 모델

• [ ] anomaly detection, segmentation, object detection 중 어떤 방법론을 사용하면 적합할지 선택하기
  • [ ] anomalib 라이브러리 이용해서 anomaly detection 사용해보기
  • [ ] segmentation 모델 선택해서 결함 탐지 해보기
  • [ ] object detection을 위해서 결함 데이터들 라벨링 후 학습 및 인퍼런스 진행해보기
  • [ ] auto-encoder 사용 여부 가능 확인
• [ ] 위의 여러 방법들을 테스트 후 성능과 실시간성을 고려하여 어느 방법론이 적합한지 결정

 

3-2. 데이터

• [x] 데이터셋 뜯어보기. EDA
• https://bh-kaizen.tistory.com/26
• [ ] 데이터셋에 이미즈 증강 기법 적용 가능한지 확인
• [ ] Image Generation을 통해 결함 이미지 생성 가능 여부 확인

이상 데이터셋 MVTecAD 살펴보기

 

 

 

• 태스크 및 모델
  • 결함이 발생한 부위를 특정하고 어떤 결함인지 추정하기 위해 Object Detection 또는 Segmentation으로 접근.
    • Segmentation으로 접근한다면 Instance? Semantic?? ⇒ 각 클래스별로 모든 결함들을 탐지해야 하므로 Semantic이 적합.
    • AI를 활용한 머신 비전 사례들을 찾아보고 어떤 Task로 접근을 하는지 참고. 보다 정확한 결함 부위를 탐지하기 위해 Segmentation을 더 비중을 두고 있음.
  • 이미지에 결함이 존재하는지, 정상/비정상 판별. anomaly detection
    • anomaly detection에 대해 알아보고 anomalib을 사용하는 방법을 확인해봤으나.. anomaly detection의 특성상 하나의 클래스에 대해 하나의 모델만 학습할 수 있다는 문제점이 발생함.15개의 클래스에 대해서 각각의 모델을 하나씩 만들어주는 것은 비효율적일 뿐 아니라 실시간으로 적용시키는데 리소스가 크게 들 수 있음
    • 거기다 클래스별로 결함 하나만 가능.. 아니면 결함들을 모두 비정상으로 퉁치거나 해야함…
    • 클래스 중에서도 정상/비정상 여부 판별이 가능하지 어떤 결함인지 분류할 수 없음.

• 데이터
  • 결함 데이터가 부족하거나 없을 가능성이 크기 때문에 정상 데이터만으로 학습하여 결함 여부를 판단하는 것도 필요.
    • Anomaly Detection. 정상 이미지만을 학습하여 결함 여부를 판단시 어떤 결함인지 분류를 못할 수도 있음.
    • 마스크 이미지를 사용할 것인지 아니면 먼저 정상 이미지만으로 접근을 해볼 것인지
  • EDA 진행, 결함 유형 파악 후 각 유형에 적절한 이미지 증강 기법 적용

• 모델 선정 및 학습
  • 리소스와 실시간성을 고려하여 가벼우면서도 성능이 좋은 Yolo, EfficientAD 2개의 모델을 후보군으로 정함. 해당 조건을 갖춘 모델이 더 있는지 리서치 후 있을 경우 추가하기. (+PatchCore)
    • 논문 리딩시 모든 내용을 다 보고 이해하는 것보단 위의 내용들을 고려하여 필요한 포인트만 잡아서 우선적으로 이해하고 빠르게 구현하는 것이 더 중요.
  • 인퍼런스 테스트시 성능과 속도 모두 기록하고 비교하기.
    • 1차, 2차 인퍼런스
    • 인퍼런스 + 후처리 알고리즘
    • 전처리 알고리즘 + 인퍼런스

 

 

 

---

 

 

 

지금까지 가상의 환경을 설정하여 MVTecAD 데이터를 이용해 제조업 회사에서 이미지 이상 탐지를 도입시 어떤 부분들을 고려해야할지 간단하게 기획 및 정리해보았다

이전에는 데이터 수집 및 가공, 전처리와 모델 잘 학습시켜서 성능 올리기 위주로만 생각해왔다면, 더 많은 부분들을 생각하고 고려해야 하며 발생할 문제들을 예상해보고 거기에 대한 대처 능력을 키우는 것이 현직자로써 갖춰야할 역량이라 생각된다