OpenCV를 이용한 연기 및 불꽃 탐지

 

해당 내용은 업무 중 화재 발생시 불꽃과 연기를 탐지하기 위해 시도해본 기록들을 정리한 내용이다. 

딥러닝 모델을 사용하여 화재가 발생한 이미지를 화재인지 아닌지 분류를 하거나 객체 탐지를 이용해 화재가 발생한 부위를 탐지하는 방법론들이 존재한다.

하지만 실제로 서비스를 제공하고자 하는 현장의 환경에서 발생한 화재 데이터는 구할 수가 없으며 웹상에 공개되어 있는 오픈 소스 데이터를 이용할 수 밖에 없다는 점, 딥러닝 모델에 화재 데이터를 학습 시 색상을 기준으로 학습하기에 불꽃과 연기와 비슷한 색상의 물체들을 화재로 오탐지한다는 점 등 여러 한계점이 존재하였다.

단순히 모델의 성능만으로는 한계가 존재한다고 느껴 모델 외에 전-후 처리를 위한 여러 알고리즘을 시도해본 기록들이다.

 

---

 

 

1. 불꽃과 연기의 특성

 

불꽃과 연기는 각각 다른 특성을 가지고 있으므로, 이를 잘 구분할 수 있는 알고리즘이 필요하다.

예를 들어, 불꽃은 규칙적인 모양과 높은 온도를 가지고 있으며, 연기는 불규칙한 모양과 낮은 온도를 가진다.

불꽃의 밝기, 크기, 모양 등과 연기의 농도, 분포, 움직임 등을 고려할 수 있다.

열화상 카메라를 이용해 온도별로 색상이 분포되어 있는 영상 데이터를 얻을 수 있으면 더 정확한 판독이 가능하겠지만 실제 현장에는 열화상이 없는 단순 CCTV인 곳들이 대다수이며 열화상 카메라를 설치한다는 비용적 부담도 크기에 단순 영상만을 고려한다.

 

1. 색상.

불꽃의 색은 가연물질에 따라 다양한 색을 띠며 온도에 따른 색상 또한 다르다.

얼핏 보기엔 불이 빨간색, 주황색 등으로 보이지만 자세히 살펴보면 불꽃은 모든 색이 동일하지 않으며 위치, 부위에 따라 온도와 색, 밝기가 다르다.

 

2. 움직임.

불꽃은 바람의 영향을 받아 형태가 일정하지 않고 주변물질을 가연물로 삼아 이동하기도 하는 동적 특성을 지닌다. CCTV 영상의 특성상 위치마다 차이가 존재하겠지만 대부분의 배경이 고정되어 있을 것이고 색상과 움직임 두 가지를 기준으로 필터링 한다면 좀더 정확한 판단을 할 것이다.

불꽃은 연소 과정에서 열생성에 따라 열기운이 상승하여 불꽃이 상승할 때 주변 공기와 상호작용으로 불규칙적인 움직임을 보인다. 또는 연소과정에서 화학반응 시 방출되는 화학적 에너지의 양과 방향에 따라서도 불규칙적인 형태와 움직임을 보이며 외부 공기의 흐름이나 풍속, 온도에 따라서도 움직임에 영향을 받는다.

 

 

---

 

 

2. 특성에 따른 이미지 처리 기법

 

2-1. 영상 차분

배경 차분, 배경 제거는 객체를 포함한 영상에서 객체가 없는 배경 영상을 빼는 방법이다. 배경을 모두 제거하여 객체만 남기는 방법이다.

 

정적인(고정된) 카메라로 일정 장소를 통과하는 객체들만 추출해야할 때, 정적인 배경(background)으로부터 움직이는 전경(foreground)을 추출하고자 할 때 OpenCV의 알고리즘을 통해 분리할 수 있다. OpenCV는 다양한 배경 제거 알고리즘을 제공한다. (cv::cuda, OpenCV에서 GPU 사용을 지원함)

 

배경차분 종류

1. 정적 배경차분(차영상)
   프레임과 다른 프레임간의 픽셀값별로 차이값을 구하고 일정값을 기준으로 이진화를 하여 움직이는 객체를 검출한다. 고정된 배경에 움직이는 객체가 있을 경우 탐지하는 방법이다. ( cv2.absdiff 함수 이용) => 기준으로 사용하는 배경이 고정되어 있다.
   
   
2. 이동 평균 배경차분
   위의 정적 배경차분의 경우 새로 나타난 객체가 고정되었을 때 이것을 지속적으로 객체로 인식한다는 문제점이 있다. CCTV영상으로 예를 들자면 물건정리를 위해 물체의 이동이 발생했는데 이 이동한 물체를 계속 인식하는 것이다. 이동 평균 배경차분은 이러한 이동이 있을 경우 일정 시간이 지나면 배경으로 포함, 배경을 업데이트하여 배경 차분을 한다.
   
   
3. MOG 배경 모델 배경 차분 (Background SubtractorMOG, MOG2)
   Mixture of Gaussian, GMM(Gaussian Mixture Model)이라고 부르며 각 픽셀에 대해 MOG 확률 모델을 설정하여 배경과 전경을 구분하는 방법이다. 이동 평균을 이용해서 배경을 지속적으로 업데이트하는 방식으로 위의 평균 배경차분보다 성능이 좋다.
   
   
4. GMG 통계적 배경 이미지 제거와 픽셀 단위의 베이지안 분할을 결합한 방법이다.

 

2-2. 컬러맵 분석

컬러맵의 종류에는 여러가지가 존재하며 그 중 5가지를 간단히 소개한다.

 

1. RGB : 적색(R), 녹색(G), 청색(B) 3가지의 색 정보를 조합하여 색상을 표현하는 컬러맵. 불꽃의 색 중 빨간색, 주황색 계열이 뚜렷할 경우 RGB를 통해 구분이 가능하다.
   
   
2. YCbCr : 밝기와 색조를 분리하여 색상 감지를 용이하게 만든다. 색상 정보를 줄이고 밝기정보를 강조 시킨 컬러맵. 휘도(Y)와 색차성분[청색차(Cb), 적색차(Cr)] 정보를 이용해 색상을 표현. Cb는 파란색에서 밝기를 뺀 값이고 Cr 은 빨간색에서 밝기를 뺀 값이다. 색차 성분을 사용하기 때문에 밀집된 정보를 획득하기에 용이하다.
   
   
3. HSV : 명도 정보를 보다 강조하기 위해 만들어진 컬러맵. 색(Hue), 채도(Saturation), 명도(Value) 정보를 독립적으로 조절하여 색상을 표현. 채도와 명도를 사용해 그림자나 밝기에 대응하기 용이함. 색상 H는 파장이 가장 긴 빨간색을 기준으로 하는 색상의 분포를 나타내고 채도인 S는 순수한 색상에 하얀 빛이 포함된 정도를 나타낸다. 명도인 V는 빛의 강도를 측정하는 정도로 사용되며 하나의 성분으로 독립되어 범위를 조절할 수 있으므로 조명 변화에 강인한 알고리즘을 생성할 수 있다.
   
   
4. LAB : CIE LAB, 밝기(L), 녹색/적색(+-a) 강도, 청색/황색(+-b) 강도 세 가지 채널로 구성되어 있다.불꽃은 주로 빨강/주황색을 띄므로 a*채널에서 특정 범위의 값을 임계치로 사용하면 불꽃을 감지할 수 있다.
   
   
5. 색상 분리 : RGB 컬러 맵에서 R 채널값과 B,G 채널 값의 차이를 계산하여 색상 분리 컬러맵을 형성한다. 불꽃의 주 색상이 빨간색, 주황색이므로 R 채널값이 대체로 높으며 다른 B,G 채널이 낮기에 일정한 범위내의 차이값을 보여주는 것을 이용한다.

 

 

---

3. 컬러맵 분석과 영상 차분 사용

3-1. 컬러맵 분석

불의 정적 특성, 색상을 이용한 방법으로, 참고한 논문들에서 제시한 컬러맵 채널의 임계치들을 적용 및 시각화해보았다.

색상을 통해 불꽃을 검출하는지, 그리고 불과 비슷한 색상의 객체들과 구분을 하는지 확인를 확인해보았고 여러가지 컬러맵들의 조합을 실험해보았다.

+ 참고한 레퍼런스들에선 불과 비슷한 색상의 객체의 구분까지 고려하지 않았다.  

 

def find_fire(frame):
    img = cv2.imread(frame)
    # img = frame # 실시간으로 프레임 받아옴

    rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    hsv_img = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    img_YCrCb = cv2.cvtColor(img, cv2.COLOR_BGR2YCrCb)

    # 각 컬러맵별 레퍼런스들에서 사용한 채널별 픽셀 범위
    lower_rgb = np.array([200,100,20])
    upper_rgb = np.array([255,220,150])

    lower_ycrcb = np.array([50,130,0])
    upper_ycrcb = np.array([255,255,130])

    lower_hsv = np.array([20,50,50])
    upper_hsv = np.array([40,255,255])

    mask_rgb = cv2.inRange(rgb, lower_rgb, upper_rgb)
    mask_ycrcb = cv2.inRange(img_YCrCb, lower_ycrcb, upper_ycrcb)
    mask_hsv = cv2.inRange(hsv_img, lower_hsv, upper_hsv)

    # 컬러맵 조합 테스트 및 확인
    # mask = cv2.bitwise_and(mask_rgb, mask_ycrcb, mask_hsv)
    # mask = cv2.bitwise_or(mask_rgb, mask_hsv)
    # mask = cv2.bitwise_or(mask_hsv, mask_ycrcb)
    mask = cv2.bitwise_and(mask_rgb, mask_ycrcb)
    result = cv2.bitwise_and(rgb, img, mask=mask)

    return result

 

 

불의 형태를 잡지만 비슷한 색상의 객체도 잡는다. 현재로서는 불꽃과 색이 비슷한 적색 계열의 객체들과 구분이 힘들다.

각 채널별 적절한 임계치를 구하려면 시간이 오래 걸릴 것으로 예상되며 적절한 값을 찾더라도 컬러맵 분석만으로는 불꽃과 비슷한 색상의 물체를 구분하기에는 힘들 것으로 보인다. 다른 알고리즘이나 처리가 더 필요해보인다.

 

 

3-2. 영상 차분

• 영상 차분, Background Subtraction에는 OpenCV의 MOG, MOG2, GMG나 프레임끼리 직접 픽셀값을 빼서 비교하는 차영상이나 이동 평균 배경 등 여러 방법들이 존재한다.
• 만약 한 시점, 프레임을 고정하여 기준으로 두고 움직이는 객체를 잡는다면 움직임이 조금이라도 존재하는 모든 대상이 잡히므로 배경으로 삼는 프레임이 지속적으로 업데이트 되야한다.
  ex) 연기 발생 초반에는 확산 전이므로 주변과 어느정도 구분감을 가지며 픽셀 비교를 통해 움직임을 파악할 수 있다. 하지만 배경이 지속적으로 업데이트되면서 확산된 연기들이 배경에 동화됨에 따라 배경과 연기의 픽셀값, 색상이 비슷해져 움직임을 놓칠 가능성이 크다. 
• 하지만 업데이트가 너무 빠르면 전에 움직임을 보였던 객체들이 배경에 동화되어 사라질수도 있다. 혹은 배경 업데이트의 프레임 간격을 조정해보면서 찾는 과정도 필요하다

< 영상 차분을 이용한 연기 움직임 감지 >

 

• 해당 이미지는 영상 속 움직임이 있는 부분을 탐지하여 일정 높이의 라인에 걸쳐있을 경우 탐지한 대상을 시각화한 것이다. 화재 발생시 연기가 상승한다는 특성을 이용하였다. 
• 고정된 카메라가 아닌경우 흔들림에 의해 노이즈가 심하게 발생 - 외부 카메라의 경우 눈이나 비, 바람 등 환경적인 요소들이 변수가 될 수 있다. 
• 또한 해당 이미지나 실행 영상은 단순히 영상에 배경 제거를 적용해서 객체의 움직임을 잡을 수 있는지 확인 및 시각화에 불과하다. 주차장 CCTV 기준, 영상 차분 적용시 연기가 발생해도 사람과 차 등 다른 움직이는 객체와 구분할 수 있는 기준이 필요하다. 미세한 움직임을 잡는 것도 중요하지만 그 움직임이 연기인지 아닌지 판별도 중요하다.

 

---

 

영상 속 화재를 탐지하는 모델을 만든다는 건 정말 어려운 일이다. 모델만으로 탐지를 하려면 연기나 불꽃과 아무리 비슷한 색상의 물체들이 있더라도 구분을 할 수 있을 정도의 높은 성능의 모델을 뽑아야한다.

하지만 데이터를 수집하거나 생성하는 부분도 쉽지 않고 더 잘 학습시키기 위해 하이퍼파라미터 튜닝이나 지속적으로 학습을 시켜서 더 좋은 성능을 뽑는데 필요한 시간이나 리소스도 적지 않다는 점 등등 여러가지 챌린지들이 존재한다. 

차분 외에도 다양한 알고리즘과의 결합을 통해 연기 탐지의 성능을 올릴 수 있을 것이라 생각한다. 어쩌면 ViT와 같은 다른 모델을 사용해보는 방법도 있고 내가 알지 못한 다양한 방법론들이 존재할 것이다. 그런 부분들을 채워보면서 더 진행해봐야겠다.