이상 데이터셋 MVTecAD 살펴보기

 

 

1. 개요

 

https://www.mvtec.com/company/research/datasets/mvtec-ad

MVTec Anomaly Detection Dataset: MVTec Software

 

MVTecAD 데이터셋이란 딥러닝의 이미지 이상 탐지에 주로 쓰이는, 마치 이미지 분류의 Cifar-100, COCO 데이터셋과 같은 대표적인 데이터셋이다

주로 제조업 검사에 초점을 맞춘 이상 탐지 방법을 벤치마킹하기 위한 데이터셋이며, 15개의 다른 객체와 결함 종류별로 구분된 5,000개의 이미지를 포함하고 있다

 

 

 

관련된 논문이 있는데 해당 글은 논문 리뷰가 아닌 데이터셋의 구성을 살펴보는 내용이니.. 대신 MVTecAD 데이터셋으로 모델 벤치마크 성능을 비교한 링크를 가져왔다

https://paperswithcode.com/sota/anomaly-detection-on-mvtec-ad

Papers with Code - MVTec AD Benchmark (Anomaly Detection)

 

 

 

---

 

 

 

2. MVTecAD EDA

데이터셋을 살펴보기 위해 사용한 툴은 캐글 노트북이다

사용한 데이터도 캐글이 업로드된 MVTec AD를 사용하였다

 

작성한 노트북 링크는 여기. 캐글 노트북에서 가져와서 돌려보는 것이 가능하다

https://www.kaggle.com/code/bbonghag/mvtecad-eda-24-06-26

MVTecAD_EDA_24.06.26

 

 

 

 

2-1. 데이터 트리 구조

 

위에서 잠깐 소개했지만 MVTecAD 데이터셋은 15개의 객체, 물건을 다룬다

• wood : 나무 장판
• screw : 스크류
• metal_nut : 너트
• capsule : 알약 캡슐
• hazelnut : 헤이즐넛
• carpet : 카페트
• pill : 정제 알약
• grid : 미세 철망
• zipper : 지퍼
• transistor : 트랜지스터
• tile : 대리석 타일
• leather : 가죽 재료
• toothbrush : 칫솔
• bottle : 병
• cable : 케이블

해당 데이터셋의 구조는 아래와 같이 구성되어 있다

├─bottle
│  ├─ground_truth
│  │  ├─broken_large
│  │  ├─broken_small
│  │  └─contamination
│  ├─test
│  │  ├─broken_large
│  │  ├─broken_small
│  │  ├─contamination
│  │  └─good
│  └─train
│      └─good
├─cable
│  ├─ground_truth
│  │  ├─bent_wire
│  │  ├─cable_swap
│  │  ├─combined
│  │  ├─cut_inner_insulation
│  │  ├─cut_outer_insulation
│  │  ├─missing_cable
│  │  ├─missing_wire
│  │  └─poke_insulation
│  ├─test
│  │  ├─bent_wire
│  │  ├─cable_swap
│  │  ├─combined
│  │  ├─cut_inner_insulation
│  │  ├─cut_outer_insulation
│  │  ├─good
│  │  ├─missing_cable
│  │  ├─missing_wire
│  │  └─poke_insulation
│  └─train
│      └─good

 

예시로 bottle, cable 2개의 데이터 구조만 가져왔다

15개 라벨 중 하나의 라벨마다 ground_truth, test, train 3개의 디렉토리를 가지는 구조로 이루어져 있다

• ground_truth : 파손별 마스크 이미지. test의 파손 이미지와 매칭됨 (=마스크 이미지와 결함 이미지 개수는 동일)
• test : 정상(good) 이미지와 파손별 이미지
• train : 정상(good) 이미지

ground_truth에는 오른쪽과 같은 흑백의 마스크 이미지가, test에는 결함 및 정상 이미지가 들어있다

 

test vs ground_truth

 

 

여기서 주의할 점은 라벨마다 결함 유형과 결함 종류의 개수가 각각 다르다는 점이다

 

bottle의 경우 broken_large, small, comtamination 이라는 작은 깨짐과 큰 깨짐, 오염 3가지 결함이 존재하지만 cable의 경우 bent_wire, cable_swap, combined 등 bottle과 다른 결함 종류를 가진다

이는 라벨, 물건에 따라 발생할 수 있는 결함이 다르기 때문이다

 

 

 

 

데이터셋 전체 트리 구조

데이터셋 전체 트리 구조

 

C:\USERS\USERPC\DOWNLOADS\봉학\MVTECAD SIDE PROJECT\MVTECAD DATASET
├─bottle
│  ├─ground_truth
│  │  ├─broken_large
│  │  ├─broken_small
│  │  └─contamination
│  ├─test
│  │  ├─broken_large
│  │  ├─broken_small
│  │  ├─contamination
│  │  └─good
│  └─train
│      └─good
├─cable
│  ├─ground_truth
│  │  ├─bent_wire
│  │  ├─cable_swap
│  │  ├─combined
│  │  ├─cut_inner_insulation
│  │  ├─cut_outer_insulation
│  │  ├─missing_cable
│  │  ├─missing_wire
│  │  └─poke_insulation
│  ├─test
│  │  ├─bent_wire
│  │  ├─cable_swap
│  │  ├─combined
│  │  ├─cut_inner_insulation
│  │  ├─cut_outer_insulation
│  │  ├─good
│  │  ├─missing_cable
│  │  ├─missing_wire
│  │  └─poke_insulation
│  └─train
│      └─good
├─capsule
│  ├─ground_truth
│  │  ├─crack
│  │  ├─faulty_imprint
│  │  ├─poke
│  │  ├─scratch
│  │  └─squeeze
│  ├─test
│  │  ├─crack
│  │  ├─faulty_imprint
│  │  ├─good
│  │  ├─poke
│  │  ├─scratch
│  │  └─squeeze
│  └─train
│      └─good
├─carpet
│  ├─ground_truth
│  │  ├─color
│  │  ├─cut
│  │  ├─hole
│  │  ├─metal_contamination
│  │  └─thread
│  ├─test
│  │  ├─color
│  │  ├─cut
│  │  ├─good
│  │  ├─hole
│  │  ├─metal_contamination
│  │  └─thread
│  └─train
│      └─good
├─grid
│  ├─ground_truth
│  │  ├─bent
│  │  ├─broken
│  │  ├─glue
│  │  ├─metal_contamination
│  │  └─thread
│  ├─test
│  │  ├─bent
│  │  ├─broken
│  │  ├─glue
│  │  ├─good
│  │  ├─metal_contamination
│  │  └─thread
│  └─train
│      └─good
├─hazelnut
│  ├─ground_truth
│  │  ├─crack
│  │  ├─cut
│  │  ├─hole
│  │  └─print
│  ├─test
│  │  ├─crack
│  │  ├─cut
│  │  ├─good
│  │  ├─hole
│  │  └─print
│  └─train
│      └─good
├─leather
│  ├─ground_truth
│  │  ├─color
│  │  ├─cut
│  │  ├─fold
│  │  ├─glue
│  │  └─poke
│  ├─test
│  │  ├─color
│  │  ├─cut
│  │  ├─fold
│  │  ├─glue
│  │  ├─good
│  │  └─poke
│  └─train
│      └─good
├─metal_nut
│  ├─ground_truth
│  │  ├─bent
│  │  ├─color
│  │  ├─flip
│  │  └─scratch
│  ├─test
│  │  ├─bent
│  │  ├─color
│  │  ├─flip
│  │  ├─good
│  │  └─scratch
│  └─train
│      └─good
├─pill
│  ├─ground_truth
│  │  ├─color
│  │  ├─combined
│  │  ├─contamination
│  │  ├─crack
│  │  ├─faulty_imprint
│  │  ├─pill_type
│  │  └─scratch
│  ├─test
│  │  ├─color
│  │  ├─combined
│  │  ├─contamination
│  │  ├─crack
│  │  ├─faulty_imprint
│  │  ├─good
│  │  ├─pill_type
│  │  └─scratch
│  └─train
│      └─good
├─screw
│  ├─ground_truth
│  │  ├─manipulated_front
│  │  ├─scratch_head
│  │  ├─scratch_neck
│  │  ├─thread_side
│  │  └─thread_top
│  ├─test
│  │  ├─good
│  │  ├─manipulated_front
│  │  ├─scratch_head
│  │  ├─scratch_neck
│  │  ├─thread_side
│  │  └─thread_top
│  └─train
│      └─good
├─tile
│  ├─ground_truth
│  │  ├─crack
│  │  ├─glue_strip
│  │  ├─gray_stroke
│  │  ├─oil
│  │  └─rough
│  ├─test
│  │  ├─crack
│  │  ├─glue_strip
│  │  ├─good
│  │  ├─gray_stroke
│  │  ├─oil
│  │  └─rough
│  └─train
│      └─good
├─toothbrush
│  ├─ground_truth
│  │  └─defective
│  ├─test
│  │  ├─defective
│  │  └─good
│  └─train
│      └─good
├─transistor
│  ├─ground_truth
│  │  ├─bent_lead
│  │  ├─cut_lead
│  │  ├─damaged_case
│  │  └─misplaced
│  ├─test
│  │  ├─bent_lead
│  │  ├─cut_lead
│  │  ├─damaged_case
│  │  ├─good
│  │  └─misplaced
│  └─train
│      └─good
├─wood
│  ├─ground_truth
│  │  ├─color
│  │  ├─combined
│  │  ├─hole
│  │  ├─liquid
│  │  └─scratch
│  ├─test
│  │  ├─color
│  │  ├─combined
│  │  ├─good
│  │  ├─hole
│  │  ├─liquid
│  │  └─scratch
│  └─train
│      └─good
└─zipper
    ├─ground_truth
    │  ├─broken_teeth
    │  ├─combined
    │  ├─fabric_border
    │  ├─fabric_interior
    │  ├─rough
    │  ├─split_teeth
    │  └─squeezed_teeth
    ├─test
    │  ├─broken_teeth
    │  ├─combined
    │  ├─fabric_border
    │  ├─fabric_interior
    │  ├─good
    │  ├─rough
    │  ├─split_teeth
    │  └─squeezed_teeth
    └─train
        └─good

 

 

 

 

---

 

 

2-2. 메타 데이터 생성

 

 

image_paths = glob('/kaggle/input/mvtec-ad/*/*/*/*')
len(image_paths)
=> 6612

 

캐글의 MVTecAD 데이터셋에는 총 6612장의 이미지가 존재한다

 

 

해당 데이터셋에는 이미지만 담겨있기 때문에 어떤 라벨마다 어떤 형태의 데이터들이 몇 장씩 담겨있는지를 한눈에 확인하고자 판다스 데이터프레임 형태로 메타 데이터를 만들었다

 

df = pd.DataFrame(columns=['label', 'group', 'state', 'filename', 'path'])

dataframes = []

for p in image_paths:
    info = p.split('/')
    label = info[4]
    group = info[5]
    state = info[6]
    filename = info[-1]
    
#     print(label, group, state, filename)
    
    # 임시 데이터프레임 생성
    temp_df = pd.DataFrame([{
        'label': label,
        'group': group,
        'state': state,
        'filename': filename,
        'path': p
    }])
    
    # 리스트에 임시 데이터프레임 추가
    dataframes.append(temp_df)

# 리스트에 저장된 모든 임시 데이터프레임을 하나로 결합
df = pd.concat(dataframes, ignore_index=True)

df

 

 

 

위의 트리구조대로 라벨마다 ground_truth, train, test와 결함 종류별로 이미지의 이름과 경로를 담은 메타데이터셋이 만들어졌다

이제 이 메타 데이터를 이용해 라벨마다 그리고 어떤 결함마다 어느 정도의 이미지가 분포하는지를 그래프로 그려서 살펴보겠다

 

 

 

---

 

 

 

2-3. 라벨별 이미지 분포

 

라벨별 데이터 분포를 살펴보면 아래와 같다

df[df['group'] != 'ground_truth']['label'].value_counts()

label
hazelnut      501
screw         480
pill          434
carpet        397
zipper        391
cable         374
leather       369
capsule       351
tile          347
grid          342
metal_nut     335
wood          326
transistor    313
bottle        292
toothbrush    102
Name: count, dtype: int64

 

 

헤이즐넛이 501장으로 가장 많고 칫솔이 102장으로 가장 적다

표로 그려보면 눈에 더 잘 들어올 것 같다

 

 

(1) 전체 이미지 개수 분포

# 마스크 이미지 포함. 전체 데이터셋 클래스별 이미지 개수 분포
plt.figure(figsize=(15,6))
sns.barplot(x=df['label'].value_counts().index,y=df['label'].value_counts().values )

 

 

 

(2) 마스크 이미지 제외 

하지만 위의 그래프에는 마스크 이미지도 포함하고 있다. 마스크 이미지를 제외하고 그려보겠다

# 마스크 이미지 제외. 
plt.figure(figsize=(15,6))
sns.barplot(x=df[df['group'] != 'ground_truth']['label'].value_counts().index, y=df[df['group'] != 'ground_truth']['label'].value_counts().values )

 

 

그래프의 스케일이 줄어들었고 트랜지스터와 병의 개수가 같았는데 제외한 후 병의 개수가 조금 더 줄어듬으로써 데이터의 분포가 미세하게 차이가 있음을 확인할 수 있다

 

 

 

(3) 마스크 이미지 개수 분포

마스크 이미지 개수만 그려보면 다음과 같다

# 마스크 이미지 분포.  
plt.figure(figsize=(15,6))
sns.barplot(x=df[df['group'] == 'ground_truth']['label'].value_counts().index, y=df[df['group'] == 'ground_truth']['label'].value_counts().values )

 

이렇게 라벨별 이미지 개수의 분포를 살펴보았다

 

개수를 보면 알 수 있듯이, 이미지의 대부분은 정상 이미지가 들어있으며 결함 마스크 이미지들이 적은 것을 볼 수 있다

 

마스크 이미지와 테스트 이미지과 1대1로 매칭되고 위의 그래프는 라벨별 모든 결함 이미지를 합친 것임을 생각하면 결함 유형마다 데이터들이 매우 적게 분포해있음을 유추할 수 있다

 

그럼 각각 라벨의 결함마다 데이터가 얼마나 분포해있는지 하나씩 확인해보겠다

 

 

 

 

 

 

---

 

 

 

 

2-4. 라벨의 결함별 이미지 분포

 

15개의 라벨 결함 이미지 분포 그래프를 한번에 출력한다. (15개의 그래프가 쭉 있으므로 스압주의)

각 라벨의 데이터 프레임을 분리 후 마스크 이미지들은 제외하고 train, test 이미지를 가져와서 결함별 이미지 분포 그래프를 그린다

마스크 이미지와 결함 이미지는 1대1 매칭되기 때문에 ground_truth 대신 test를 넣어도 동일한 결과가 나온다

 

for label in df['label'].unique():
    temp_df = df[df['label'] == label].copy()
    
    plt.figure(figsize=(14,4))
    barplot = sns.barplot(x=temp_df[temp_df['group'] != 'ground_truth']['state'].value_counts().index, y=temp_df[temp_df['group'] != 'ground_truth']['state'].value_counts().values )
    plt.title(f'{label}_image count')
    for p in barplot.patches:
        height = p.get_height()
        barplot.text(x=p.get_x() + p.get_width() / 2, 
                 y=height + 0.05, 
                 s=f'{int(height)}', 
                 ha='center', size=12)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

그래프들이 많지만 이렇게 라벨별로 정상, 결함 종류별 이미지 분포를 확인해보니 결함 이미지들이 매우 적은 것을 확인할 수 있다

그럼 다음에는 실제 결함들이 어떻게 생겼는지 살펴보겠다

 

 

 

 

---

 

 

 

2-5. 각 라벨 결함 유형 살펴보기

 

이번에는 라벨마다 모든 결함 유형을 한번에 표시하여 살펴보겠다

 

no_mask_df = df[df['group'] != 'ground_truth'] # 마스크 이미지 제외

for current_class in no_mask_df['label'].unique():
    tmp = no_mask_df.loc[no_mask_df['label'] == current_class]
    states = no_mask_df.loc[no_mask_df['label'] == current_class, 'state'].unique()

    fig, axs = plt.subplots(1, len(states), figsize=(20, 8))
    
    for col_idx, state in enumerate(states):
        img_dir = tmp.loc[tmp['state'] == state, 'path'].sample(1).iloc[0]
        img = cv2.imread(img_dir)
        img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        axs[col_idx].imshow(img)
        axs[col_idx].set_xticks([])  # x축 눈금 제거
        axs[col_idx].set_yticks([])  # y축 눈금 제거

    for ax, col in zip(axs, states):
        ax.set_title(col, size=15)

    axs[0].set_ylabel(current_class, rotation=0, fontsize=15, labelpad=40, fontdict=dict(weight='bold'))

    fig.tight_layout()
    plt.show()
    print('\n\n')

 

 

wood

 

 

 

screw

 

 

metal_nut

 

 

capsule

 

 

hazelnut

 

 

 

carpet

 

 

pill

 

 

grid

 

 

zipper

 

 

transistor

 

 

tile

 

 

 

 

leather

 

 

 

toothbrush

 

 

 

bootle

 

 

 

 

cable

 

 

 

 

---

 

 

3. 정리

 

 

지금까지 이상 탐지에서 사용되는 MVTecAD 데이터셋이 어떻게 구성되어 있는지 살펴보았다

 

이미지 이상 탐지라는 태스크는 제조업, 머신비전 같은 도메인에서 품질 관리 및 검사 등의 공정에서 주로 사용되는데 이런 도메인의 특징은 결함 데이터가 극도로 적다는 점이다

따라서 일반적인 지도 학습으로는 제대로된 성능이 나올 만큼의 결함 데이터를 확보하기가 어렵다

만약 결함과 마스크 이미지를 이용해 Segmentation 으로 학습을 한다면 몇 십장에서 많아야 몇 백장 밖에 안되는 결함 데이터로 실제 공정에 적용할 만큼의 성능이 나오기 쉽지 않을 것이다

 

따라서 이미지 이상 탐지는 정상 데이터를 모델에 학습시키고 데이터들을 모델에 넣어 결함을 탐지하는 형태로 이루어진다. 대표적인 모델에는 EfficientAD, PatchCore 등이 존재한다

이상 탐지와 관련된 라이브러리에는 Anomalib 라는 OpenVINO Toolkit에서 개발된 오픈소스 라이브러리가 있으며 위의 모델들도 여기서 사용가능하다

 

그럼 왜 이상 탐지를 다루려면 MVTecAD 데이터셋을 살펴보는게 좋을까?

데이터셋을 통해 이상 탐지에 대한 여러 인사이트들을 얻을 수 있기 때문이다

어떤 형태의 결함이 존재하는지 최대한 많은 데이터를 확보할수록 좋다. 그러나 이 부분이 가장 어렵기 때문에 데이터 증강이 사용되기도 하는데 결함 이미지는 함부로 증강을 해선 안된다

너트나 트랜지스터 처럼 위치 또는 방향이 정해져있기도 하고 변색, 오염 등 주변과의 색이 중요한 경우도 있다

MVTecAD의 경우 우리가 자주 본 물품들이고 결함들도 직관적이지만 실제 제조업에서 각각의 생산품이 어떤 특징을 가지고 있는지, 어떤 결함이 주로 발생하는지 등 도메인에 대한 깊은 이해를 필요로 한다