Ⅰ. 서 론
항공기의 안전한 운항을 위해서는 다양한 운항 요소 들이 규정된 제한 범위 내에서 철저히 관리되어야 한다. 그러나 항공기 운항에 필요한 모든 요소가 안전 기준을 충족하더라도 사고 위험은 여전히 존재하여 항공기 사고가 계속 발생하고 있다.
특히 기상은 항공 안전과 매우 밀접한 관계를 가지고 있으며, 항공사고 발생의 주요 원인 중 하나다. Kwon et al.(2006)에 의하면, 1953년부터 2003년 까지 발생한 항공사고 중 기상이 주요 원인이 된 사례는 전체의 12%에 달하며, Aviation and Railway Accident Investigation Board(2021)는 2012년부 터 2021년까지 발생한 항공사고 중 위험 기상에 기인한 사고가 총 30건으로 전체의 25.6%를 차지한 것으로 보고하였다. 이러한 통계는 분야별로 세밀한 안전 운항 기준이 마련되어 있더라도, 기상 조건이 항공 안전에 결정적인 영향을 미칠 수 있음을 보여준다. 따라서 항공기 운용 특성을 고려하여 보다 안전한 운항을 위해 맞춤형 기상정보 수집 방안이 요구된다.
정규항로를 이용하는 중대형 항공기들은 기상레이더 와 위성정보, 공항에서 제공하는 실시간 기상정보를 확 보할 수 있는 최첨단 항공 시스템을 탑재하고 있다. 그러나 헬리콥터와 경량 항공기 등 저고도 항공기들은 기상 정보 확보 및 파악 능력이 상대적으로 열악한 실정이다. 특히, 저고도 항공기는 고고도 항공기와 달리 지표면과 가까운 저고도에서 운항하며, 국지적이고 급변하는 기상 현상에 더 민감하게 노출될 수 있음에도 불구하고, 세밀하고 실시간적인 저고도의 기상 정보를 획득하는데 한계가 있다.
한편 최근 개인용 항공기, 도심형 항공모빌리티 (urban air mobility)와 같은 소형 비행체 기반의 항 공교통 시장의 급성장은 향후 저고도 소형항공 교통량의 급격한 증가를 예상할 수 있게 한다. 이는 기상으로 인한 위험 요소에 노출될 수 있는 저고도 항공기의 증가를 의미한다. 따라서 저고도 항공기의 안전 운항을 위한 대비책 마련이 시급한 실정이다.
저고도 항공기의 안전 운항을 위해서는 저고도 항공기 특성에 최적화된 정밀한 기상정보 제공이 필수적이다. 그러나 기존의 기상정보 제공 체계는 저고도에서 운용되는 항공기에 필요한 실시간 정보 제공이 미흡한 실정이다. 특히 돌발적인 기상 악화에 대한 정보 획득에 어려움이 있는데, 돌발적인 기상 악화는 저고도 항공기 운항 중 조종사가 조우하는 가장 위험한 상황 중 하나이다. 따라서 이에 대응할 수 있는 실시간 및 직관적인 기상 정보 시스템이 요구된다.
현재 저고도 항공기 조종사들은 기상정보를 획득하기 위해 운항 전에는 주로 기상청 및 운항 정보실 의 자료를 참고하고 있다. 반면, 비행 중에는 관제 기관이나 디지털 정보 수신 시스템을 통해 획득하는 텍스트 기반의 제한된 수준의 정보를 활용하고 있으며, 이는 돌발 상황에서 기상 변화에 대한 실시간적인 파악과 직관적인 이해를 어렵게 한다. 따라서 조종사들에게 기존의 텍스트 기반의 항공기상 정보뿐 아니라, 가독성과 시인성이 뛰어난 그래픽 형태의 정보를 제공할 필요가 있다.
실시간 CCTV 영상을 활용한 시정 정보는 직관적인 기상정보를 제공한다는 측면에서 현재의 어려움을 해결할 수 있는 한 가지 수단이 될 수 있다(Jo et al., 2020). 최근 딥러닝 기술의 발전과 함께 CCTV 영상을 활용한 기상 현상 탐지 및 분석 연구가 활발히 진행 되고 있다. 그러나 기존 연구들은 기술적 및 응용적 측면에서 다음과 같은 한계점을 가진다.
기술적인 측면에서는 모델의 정확성과 일반화 성능을 극대화하기 위한 다양한 딥러닝 모델 구조 및 학습 전략에 대한 비교 연구는 여전히 부족하다. 예를 들어, 공간정보 기반의 기상 데이터 획득 가능성과 필요성이 제기된 바 있으며(Park and Lee, 2005), Heo et al.(2019)은 머신러닝 기법 중 하나인 서포트 벡터 머신을 활용하여 도로 노 면 및 기상 상태를 분류하는 시스템을 제안했다. 하지만 이 방식은 실험자가 영상의 특징(feature)을 수동으로 추출해야 하고, 딥러닝 기법에 비해 상대적으로 낮은 성능을 보인다는 한계가 있다. 최근의 딥러닝 기반 연구들도 몇 가지 제약이 있다. Naufal and Kusuma(2022)는 합성곱 신경망(CNN, convolutional neural network)과 전이 학습(transfer learning)을 결합한 모델을 통해 기상 분류의 효과를 입증했고, Li et al.(2023)은 Vision transformer를 활용하여 기존 CNN 대비 향상된 성능과 일반화 능력을 확인했다. 그러나 이 연구들은 주로 모델의 결합을 통해 성능 개선을 하였고, 딥러닝 모델의 구조와 학습 전략이 예측 결과에 미치는 영향에 대한 분석을 제시하는 데는 한계가 있었다.
응용적인 측면에서는 특정 장소에 종속되지 않고 다양한 지역의 기상 조건을 정확하게 분류할 수 있는 범용성 높은 모델 개발이 부족하였다. Kim et al.(2012) 은 CCTV 영상정보를 활용하여 내수 침수 원인을 분석하고 재난•재해 발생 시 선제적 대응 방안을 제시하였으며, Kim et al.(2020)은 항만과 해변에 설치된 CCTV 영상을 활용하여 연안의 해무 탐지 모델 시스템 을 제안하였다. Byun et al.(2022)은 CCTV 영상 분석을 통해 강수량을 추정하고 이를 바탕으로 하는 경보시스템을 제안하였다.
이러한 연구들은 특정 지역의 기상 현상을 성공적으로 탐지했으나, 그 응용 범위가 도로나 항만과 같은 특정 장소에 국한되어 있다. 이는 다양한 지역의 기상 조건을 정확하게 분류할 수 있는 범용성 높은 모델 개발이 필요하다는 점을 시사한다. 특히, 저고도 항공기의 경우, 한정된 지역이 아닌 여러 지역을 운행하기 때문에 저고도 항공기 조종사의 운항 의사결정 지원을 목적으로 하는 모델에서는 특정 장소에 종속되지 않는 범용적인 모델이 요구된다.
따라서 본 연구는 이러한 문제를 개선하기 위한 기초 연구로 도로 감시용 CCTV 영상을 활용하여 딥러닝 기반의 저고도 항공기용 기상정보 획득 기술을 개발하고자 하였다. 이를 통해 궁극적으로는 저고도 항공기 조종사에게 실시간 기상정보를 제공하는 시스템 구축에 활용 가능한 기초 기술을 연구하고자 하였다.
특히, 이미지 분류와 실시간 처리에 강점을 보이는 합성곱 신경망(CNN, convolutional neural network)을 적용하여 다양한 모델 구조 실험을 통해 영상 기반의 실시간 기상 분류 가능성을 검증하였다. 이러한 연구 결과는 저고도 항공기의 안전 운항을 위한 효과적인 기상정보 제공 시스템 구축에 활용할 수 있는 기초자료를 제공할 것으로 기대된다.
Ⅱ. 연구방법 및 자료
본 연구는 도로 감시용 CCTV를 활용하여 날씨를 분석하고자 CNN 기반의 연구를 수행하였다. CNN은 이미지 처리에 특화된 AI 기법이며, 주로 영상 및 이미지 데이터를 통한 객체 인식, 분류, 탐지, 생성 등의 연구에 활용되고 있다. Fig. 1은 연구 절차의 흐름을 나타내는 flowchart이다. 연구 절차는 데이터 수집(data collection), 데이터 전처리(data preprocessing), 모델 구성 및 학습(modeling, hyperparameter tuning), 모델 평가(evaluation), 모델 선택(model selection) 단계로 구성된다.
본 연구는 연구의 정확성과 신뢰성 확보를 위해 우리나라의 지형적 특성과 다양한 도로 환경을 고려하여 고속도로와 일반도로, 산악지역과 해안지역 등 여러 장소에서 CCTV 영상을 수집하였다. 또한 약한 비와 눈, 강한 비와 눈 등 날씨의 강도와 비와 안개, 눈과 안개 등의 복합 기상이 발생하는 현상을 고려하여 다양한 기상 데이터를 확보하고 이를 총 6개의 클래스(clear, fog, rain, rainfog, snow, snowfog)로 분류하였다. 이 과정에서 데이터의 질적 향상을 위해 수집된 자료 간의 유사성 검증(similarity verification)을 수행하여 유사성 기준 0.9 이하인 영상만 선별하였다. 날씨 분류의 정확도 향상을 위해 clear와 fog는 정적 날씨로 구분하였으며, rain과 snow는 동적 날씨로 구분하여 날씨 특성에 따라 이미지 추출 방식에 차이를 두었다.
또한 모델 성능 최적화를 위해 학습 반복 횟수 (epoch), 배치크기(batch size), 입력 이미지 크기 (image size), 모델 층 구조(model layer) 등의 요소에대한 하이퍼파라미터(hyperparameter) 조정을 통해 최적의 모델 구조를 도출하여 모델을 학습시키고 클래스별 평가 데이터를 통해 모델의 정확도를 평가하여 모델링 하였다. 이후 별도로 구성된 CCTV 평가 데이터를 사용하여 모델의 날씨 분류 능력을 최종 검증하였다.
CNN의 학습 과정은 대량의 이미지 데이터에서 특징을 자동으로 추출하여 모델이 스스로 학습하는 방식으로 이루어진다. 하지만, 유사한 이미지 데이터를 반 복적으로 학습시키는 경우 특정 이미지나 패턴에 대한 과적합(overfitting)이 발생할 수 있으며, 이는 날씨 분류 모델의 정확성과 일반화를 저하시킬 수 있다. 따라서 이러한 문제를 방지하고자 자료수집 단계에서부터 도로 형태, 지역적 특성 및 계절적 요인을 다양하게 고려하여 영상 데이터를 수집하였다.
연구에 사용된 자료는 2024년 11월부터 2025년 03월 사이에 국가교통정보센터(https://its.go.kr)를 통해 수집하였다. 총 903개의 영상을 수집하였으며, 정적 날씨는 10∼15초 영상으로부터 3∼4초 간격, 동적 날씨는 20∼25초 영상으로부터 2초 간격으로 스틸 이미지를 추출하여, 총 8,669개의 이미지를 획득하였다. 수집된 영상의 날씨 상태는 clear, fog, rain, rainfog, snow, snowfog의 6가지 클래스로 구분하였다(Table 1).
| Type | Clear | Fog | Rain | Rainfog | Snow | Snowfog | Total |
|---|---|---|---|---|---|---|---|
| Video | 301 | 253 | 103 | 51 | 103 | 92 | 903 |
| Image | 1,491 | 1,259 | 1,499 | 1,459 | 1,494 | 1,467 | 8,669 |
다양한 기상 상황을 반영한 영상 수집을 위해 도로의 유형을 고속도로와 국도로 구분하였으며, 우리나라의 동고서저(東⾼西低)의 지형적 특징을 고려하여 산악지형의 동부와 서해안 및 동해안, 호남•김해•경기평야 등의 내륙평야 지역으로 세분화하였다. 동일한 장소에서의 반복 수집은 배제하고 서울특별시, 부산광역시, 경기도, 강원도(제주도 제외) 등 총 15개 행정구역에서 데이터를 수집하였다.
고속도로 CCTV는 상향 각도로 설치되어 넓은 영역을 관찰할 수 있지만, 일반국도는 고속도로와 달리 직선화 정도가 낮고 주변 환경이 복잡하므로 CCTV의 감시 각도가 상대적으로 하향으로 설치되는 경우가 많아 관찰 범위가 제한적이다. 또한, 우리나라의 지형적 특성을 고려할 때 해안 지역과 내륙의 평야 지역, 산악지형이 많은 동부 지역의 CCTV 영상도 CCTV 감시 각도와 시야 확보에 큰 차이를 보인다. 따라서 본 연구에서는 해안•평야 지역과 산악지역을 구분하고 최대한 우리나라의 모든 지역이 포함되도록 하여 다양한 기상 영상 데이터를 수집하였다(Fig. 2).
데이터 수집 과정에서 기상청의 항공기상 기준을 참고하여 안개(fog)와 박무(mist)의 기준을 적용하였다. 비(rain)와 눈(snow) 날씨는 저고도 항공기 운항에 영향을 미칠 수 있는 날씨 상태를 고려하여 CCTV에서 명확히 판별이 가능한 영상만 수집하였다. 복합 기상 클래스(rainfog, snowfog)의 경우는 데이터 선별 과정에서 시각적으로 명확하게 구분이 가능한 영상만을 선별하고 라벨링하여 실험자의 주관적 판단의 개입을 최소화하였다. 또한 클래스 간의 혼돈을 줄이기 위해 애매한 구간의 데이터는 배제하고 전처리하였다.
한편, 우리나라는 4계절이 뚜렷하지만, 본 연구의 데이터 수집 기간은 늦가을부터 봄 사이에 집중되었다. 따라서 본 연구에서 개발된 모델은 나뭇잎이 떨어진 숲이나 눈이 쌓인 주변 환경 등을 배경으로 이미지를 활용하여 주로 학습되었다. 그러므로 본 연구에서 개발된 모델은 겨울과 봄 날씨에 특화된 이미지를 학습한 것이며, 다른 계절의 날씨 환경에 대한 정확성을 높이기 위해서는 여름, 가을에 대한 추가적인 날씨 자료수집을 통해 모델의 지속적인 학습과 평가가 이루어져야 할 것이다.
CNN 모델 학습 과정에서 높은 정확도를 얻기 위해 서는 학습 데이터를 효과적으로 가공하는 전처리(pre- processing) 과정이 필수적이다. 본 연구에서는 수집 된 영상 데이터를 날씨 특성에 따라 정적 날씨와 동적 날씨로 구분하고, 각 날씨의 특징에 맞추어 적절한 이 미지 추출 및 전처리를 수행하였다.
정적 날씨는 맑음(clear)과 안개(fog)로 설정하였다. 정적 날씨의 특성상 영상 내 움직임 변화가 거의 없으므로, 동일한 CCTV 영상에서 많은 이미지를 추출하면 데이터 간 유사성이 높아지게 되고 결과적으로 모델이 특정한 이미지만 학습하게 되는 과적합 현상이 발생할 수 있다. 이를 방지하기 위해 정적 날씨에 해당하는 영상에서는 유사성이 낮은 3∼4장의 이미지를 추출하여 데이터의 중복성을 최소화하였다.
동적 날씨는 비(rain), 비와 안개(rainfog), 눈(snow), 눈과 안개(snowfog)로 세분화하였다. 동적 날씨는 영상 내에서 날씨의 특성을 보여주는 여러 움직임과 변화를 포함하고 있으므로 정적 날씨와 달리 다수의 연속된 이미지가 필요하다. 따라서 수집된 동적 날씨의 영상이 20∼25초인 것을 고려하여 초당 1장의 빈도로 총 15∼20장의 연속된 이미지를 추출하여 날씨 특성을 반영하도록 노력하였다.
동적 날씨별 특성은 다음과 같다. 비(rain) 영상에서는 차량의 움직임에 따른 물 튀김 현상(splash), 차량 헤드라이트의 도로 빛 반사(reflection), 물방울의 흔적(streaks) 등을 관찰할 수 있었으나, 도로 감시용 CCTV 의 해상도로는 물방울 흔적을 구분하기는 제한사항이 있었다. 눈(snow)의 경우 눈의 밝기(snow brightness)와 눈이 내리는 영역의 움직임(snow area) 특성을 관찰할 수 있었으며, 비와 안개 그리고 눈과 안개가 동시에 나타나는 복합 기상인 rainfog와 snowfog 역시 정확한 식별을 위해 별도로 분리하여 데이터를 구성하였다.
이미지 추출 이후, 6개의 날씨 클래스별 데이터에 대해 구조적 유사성(SSIM, structural similarity index metric)을 평가하여 프레임 간의 중복 여부와 구조적 유사성을 검증하였다. Fig. 3의 파란색 선은 초기 연구에서 수행한 데이터의 유사성 검증 결과이며 빨간색 선은 데이터의 다양화를 강화한 후 데이터의 유사성 평가 결과를 나타낸 것이다. 초기 연구에서는 하나의 영상에서 100장 이상의 이미지를 추출하여 모델을 학습시킨 결과, 모델의 정확도가 0.99 이상으로 과도하게 높게 나타나거나 과적합 현상이 발생하였다. 이후 연구에서는 SSIM 평가와 이상치 제거 절차를 추가 적용하여 데이터 품질을 향상시켰고, 결과적으로 CNN 모델의 일반화 성능 개선을 도모하였다.
이렇게 검증된 이미지 데이터는 클러스터링 분석 및 히트맵 시각화를 통해 전처리된 이미지의 클래스별 군집화 정도를 파악하고 이미지의 픽셀 평균 밝기(average image heat map) 표준편차(Std. deviation heatmap)를 통해 이미지 정렬 상태와 함께 날씨 배경에 따른 구조적 변화 양상을 시각적으로 확인할 수 있다.
Fig. 4는 추출된 이미지에 대한 클러스터링 분석 결과이다. 전처리 이미지들이 특성에 맞게 군집화되어 있는 모습을 볼 수 있다. 일부 군집화 그룹에서의 군집 범위를 벗어난 이상치 데이터가 있는 것을 확인할 수 있는데 이러한 데이터는 모델 학습 전에 제거하여 모델의 분류 정확도를 향상시키기 위해 노력하였다.
CNN은 이미지와 영상 처리 분야에서 뛰어난 성능을 보이는 대표적인 딥러닝 모델이다. CNN은 데이터의 공간적 구조(spatial structure)를 활용하여 이미지내 특징(feature)을 자동으로 학습하고 분류할 수 있는 능력이 탁월해, 다양한 시각 기반 인식 분야에 널리 활용되고 있다.
이러한 장점을 바탕으로, 본 연구에서는 CNN 기반의 딥러닝 모델을 활용해 기상 상태를 분류하는 모델을 설계하였다. CNN 모델은 설계 방식에 따라 각 층을 연구자가 직접 설계하여 구성하는 자유 구성 방식과 반복할 수 있는 모듈을 사용하여 효율성과 일관성을 강조하는 블록 기반 구성 방식으로 나눌 수 있다.
자유 구성 방식은 합성곱층, 풀링층, 정규화층 등을 목적에 맞게 유연하게 배치할 수 있어, 데이터 특성에 따른 맞춤형 설계가 가능하다는 장점이 있다(Krizhevsky et al., 2012). 반면, 블록 기반 구성은 동일한 구조를 반복적으로 사용하는 방식으로, 작은 특징부터 점차 복잡한 패턴까지 단계적으로 학습할 수 있어, 특징의 계층적 표현에 효과적이다. 또한 안정적인 학습을 가능하게 하며, 학습 속도 및 일반화 성능에서도 강점을 가진다(He et al., 2015).
본 연구에서는 두 가지 모델 구성 방식을 활용하여 세 가지 형태의 모델을 설계하였다. Table 2는 연구에서 사용한 모델 구조의 일부를 제시한 것이다. 딥러닝 모델은 설계 방식과 학습 결과에 영향을 주는 변수가 너무 많으므로 기본 설계를 기준으로 확장•변형하는 방식으로 다양한 형태의 모델을 설계하였다.
모델 1은 가장 기본적인 baseline 성격을 갖도록 단순 구조로 반복 설계하여 비교의 기준점을 마련하였다. 모델 2는 학습 층을 단층 구조와 미세조정 층의 2단계로 구분하여 보다 세밀하게 특징 학습이 가능하도록 구조를 확장하였다. 모델 3은 Conv2D 층 두 개를 하나의 블록으로 묶는 형태로 총 세 개의 블록을 구성하여, 블록 단위의 계층적 특징 학습 성능을 검증하고자 하였다. 모든 모델에 이미지 입력은 224×224 크기의 RGB 이미지로 정의하였으며, 첫 합성곱 층에서는 32개의 필터를 사용하여 이미지로부터 엣지(Edge), 색상 변화 등과 같은 기본적인 시각적 특징을 추출하였다. 필터의 크기는 3×3이며, 'same' 패딩을 적용하여 출력 이미지의 공간 크기를 유지하였다. 비선형성을 부여하기 위해 활성화 함수로 ReLU(rectified linear unit)를 사용하였으며, L2 정규화를 통해 과적합을 억제하였다.
각 모델의 구성을 구체적으로 살펴보면 자유 구성방식으로 설계한 모델 1은 3개의 합성곱층(Conv2D)과 1개의 완전연결층(dense)으로 구성하여 가장 단순한baseline 구조를 마련하였다. 모델 2는 모델 1과 유사한 층 구성을 유지하면서도 세밀한 학습 설계를 위해fine-tuning을 추가하여 학습의 안정성과 일반화 성능을 향상할 수 있도록 2단계 구조로 설계하였다. 두 모델은 층(layer) 구조뿐만 아니라 학습 설정(optimizer, learning rate, batch size, epochs), 정규화(batchnormalization), 일반화 기법(dropout, earlystopping), 데이터 처리(imagedatagenerator, input shape) 등 다양한 하이퍼파라미터 조정을 통해 안정적 학습 능력을 확보하고자 하였다. 반면, 블록 구성 방식의 모델 3은 날씨 클래스 간 미세한 차이를 효과적으로 구분하기 위해 Conv2D 층 두 개를 하나의 블록으로 묶어 총 세 개의 블록으로 구성하였다. 각 합성곱 층에서는 3×3 크기의 소형 필터를 사용하여 세밀한 시각적 특징을 포착하고, 전역 평균 풀링(global average pooling)을 적용하여 이미지 전체의 평균적 특징을 추출함으로써 배경 노이즈를 줄이고 클래스 간 구분 성능을 높이고자 하였다. 또한 본 연구에서는 과적합을 방지하기 위해 dropout, L2 regularization등을 기본적으로 적용하였으며, 추가로 early stopping과 다양한 형태의 data augmentation(회전, 이동, 확대/축소 등)을 실험적으로 적용하여 학습 안정성과 일반화 성능을 향상시켰다.
Ⅲ. 연구결과
Fig. 5는 모델 학습 후 각 모델의 정확도(accuracy)와 손실(loss)에 대한 그래프를 시각화한 결과를 보여준다. 모델 학습은 수집된 데이터 중 80%를 학습용으로, 20%를 평가용으로 나누어 진행하였다. 정확도 그래프에서는 훈련 정확도(training accuracy)와 검증 정확도(validation accuracy)를 통해 학습 경향을 파악할 수 있으며 과적합 및 과소적합 징후 등을 파악할 수 있다.
Fig. 5에 제시된 세 가지 모델에서 학습이 진행될수록 정확도가 개선되는 양상을 나타냈으나 검증 정확도(validation accuracy)는 모두 다른 형태로 나타나고 있다. 특히, 모델 3의 경우는 모델의 정확도가 거의 1.0에 가까운 수준까지 상승하여 학습 데이터에 과도하게 적합되는 현상이 발생하고 있다. 또한 검증 정확도의 변동 폭이 크게 나타나는 것을 보았을 때 모델이 일반화되지 않고 있음을 알 수 있다. 즉, 훈련 정확도는 지속해서 상승하지만, 검증 정확도는 오히려 하락하는 경향을 나타내는데 이는 모델이 훈련 데이터에만 적응하고 새로운 데이터에 잘 대응하지 못하는 전형적인 과적합 징후를 의미한다.
반면, 모델 1의 경우에는 정확도가 가장 낮은 결과를 보였으며 훈련 정확도보다 검증 정확도가 오히려 높게 나타나는 현상이 관찰되었다. 이는 모델이 훈련 데이터에 충분히 적응하지 못하고 있는 상태로 과소 적합 경향을 보이는 것이다. 두 그래프를 비교해 보면 학습이 정체된 듯한 양상을 보이며 추가 학습을 진행하더라도 성능 개선이 크지 않을 것으로 판단된다. 따라서 모델 1의 경우에는 모델의 복잡도를 키우거나 학습설정을 조정하는 개선이 필요하다.
모델 2의 경우에는 다른 모델과는 다르게 훈련 정확 도가 점진적으로 좋아지고 있으며, 검증 정확도도 비교적 완만하게 증가하고 있다. 전체 학습 반복(epoch) 구간의 마지막 부분에서 크게 변동하는 경향을 관찰할 수 있는데 이 현상은 마지막 구간에서 과적합 징후가 나타나고 있다는 것을 암시한다.
이와 같이 세 모델의 학습정확도와 검증 정확도를 분석한 결과 각 모델 구조의 특징에 따라 다양한 현상들이 나타나는 것을 알 수 있었다. 모델 1과 2는 자유 구성 방식으로 비교적 단조로운 구조로 설계되어 있다. 반면 모델 3은 블록 구성 방식으로 모델 1과 2보다 비교적 심층적 구조로 설계된 구조이다. 모델 1과 2의 가장 큰 차이점은 과적합 방지를 위해 모델 2에 2단계 학습 방법을 적용했다는 것이다. 학습 초기단계에서는 데이터의 증강을 통해 데이터를 좀 더 튼튼하게 학습시키고 후반부에 과적합을 최소화하기 위해 세밀한 학습(fine-tuning)을 적용한 것이다. 따라서 모델 1과 2의 정확도를 비교해 보면 상당한 차이가 있다는 것을 알 수 있다. 모델 3의 경우 심층적 구조로 인해 모델의 과적합 징후가 강하게 나타나는 것을 알 수 있다.
Fig. 5의 손실 그래프(loss)에서도 여러 가지 현상들을 관찰할 수 있다. 일반적인 손실 그래프의 결과는 학습이 진행될수록 낮아져야 하고 훈련과 검증 손실이 비슷하게 감소하거나 검증 손실이 약간 높은 수준이면 정상적인 학습 결과이다. 세 모델 중 모델 2의 손실 그래프가 가장 이상적인 그래프로 훈련과 검증 손실이 특별한 변동 없이 일정하게 감소하는 것을 관찰할 수 있다. 하지만 모델 1은 학습 초기에 급격하게 낮아지고 이후 변화가 거의 없는 현상이 나타나는데 이러한 현상은 학습률이 너무 낮거나 모델이 너무 단순할 때 발생하는 현상이다. 모델 3의 경우에는 학습 및 검증 손실이 큰 변동 폭이 관찰되었으며, 이는 모델의 일반화 불안정 및 과적합으로 인해 나타나는 현상이다.
본 연구에서는 딥러닝 모델 훈련 과정에서 발생하는 과적합을 방지하기 위해 다음과 같은 학습 전략을 적용하였다. Model 2에 대해서는 EarlyStopping을 통 해 조기에 과적합이 이뤄지기 전에 모의효율이 가장 좋은 모델을 선택되도록 하였다. Model 3에는 학습 과정을 단일 단계에서 다단계 학습으로 전환하고, 하이 퍼파라메터와 콜백 설정에 변화를 주어 과적합을 방지 하도록 하였다. 초기 실험에서 사용된 모델은 단일 단계 학습 방식을 채택하여, Adam 옵티마이저와 학습률 순환 기법(cyclic learning rate)을 결합해 학습 효율을 높이고자 하였다. 반면 다단계 학습 모델은 워밍업 단계와 안정화 파인튜닝 단계로 구분하여 훈련을 진행하였다. 워밍업 단계에서는 모델이 최적점에 빠르게 도달하도록, 한 에포크 내에서 학습률이 상승과 하강의 한 주기를 마치도록 설정하였다. 이어지는 안정화 파인튜닝 단계에서는 워밍업 단계에서 설정된 낮은 학습률을 유지하되, 검증 손실이 개선되지 않으면 ReduceLROnPlateau를 통해 학습률을 자동으로 감 소시켰다. 아울러 EarlyStopping의 모니터링 지표를 검증 정확도로 변경하고 patience를 4로 축소하여, 검증 정확도가 더 이상 향상되지 않을 경우 학습을 조기에 중단하도록 하였다.
Fig. 6은 과적합 방지 전략을 적용한 이후의 모델 훈련 과정을 보여준다. 다단계 학습 전략과 하이퍼파라미터 조정 및 콜백 설정을 적용한 개선된 모형에서 검증 정확도의 변동성이 크게 줄어들었고, 일정 수준 이상에서 안정적으로 수렴하는 양상을 확인할 수 있다. 이는 초기 모형의 결과에서는 훈련 정확도가 꾸준히 상승하지만, 에포크에 따라 큰 폭의 변동을 보이며 과적합 징후가 뚜렷하였던 것과 대비된다. 아울러 검증 손실이 점진적으로 감소하며 일정 수준에서 안정적으로 수렴하는 양상이 나타났다. 이 역시 이전 실험에서 에포크에 따라 큰 폭의 변동을 보인 것과 대비된다. 이러한 변화는 적용한 전략이 과적합을 완화하고, 검증 데이터에 대한 모델의 예측 안정성을 크게 향상시켰음을 보여준다.
Table 3은 학습된 모델에 대한 성능평가 결과를 요 약한 분류보고서이다. 모델 성능평가에 사용된 데이터는 6개의 날씨 클래스별로 모델 학습 간에 사용되지 않은 20개의 평가용 데이터, 총 120개의 영상을 기반으로 수행하였다. 이미지 전처리는 모델의 학습 단계에서 사용한 방식과 동일하게 적용하였으며 이렇게 전처리된 이미지 테이터를 통해서 학습된 모델의 평가 결과를 분석하였다. Table 3의 결과를 살펴보면, 모델 2 는 전반적으로 안정적인 상태를 나타내고 있으며 모델 3은 clear, fog, rianfog에서 높은 성능을 나타냈고, rain과 snow에서 낮은 분류 정확도를 보였다. 모델 1은 clear를 제외하고 fog와 rain 그리고 snowfog를 전혀 구별하지 못하는 상태로 전체적으로 성능이 매우 낮은 특성을 나타내고 있다. 모델 3은 블록 구조 방식으로 설계되어 상대적으로 높은 성능이 기대되었는데, 과적합을 적절히 제어한 이후에 세 모델 중 가장 향상 된 결과를 보여주고 있었다. 자유 구성 방식으로 단순하게 4개의 층으로 구성하고 학습 후반부의 과적합을 방지하기 위해 2단계 학습 단계로 설계한 모델 2 역시 전반적으로 안정적인 성능을 나타내고 있었다. 따라서 2단계 학습 과정은 모의 효율을 높이는데 중요한 역할을 한다는 점을 알 수 있었다. 모델의 구조가 복잡하고 심층 깊은 구조로 되어 있을 때, 보다 개선된 결과를 기대할 수 있다는 것을 알 수 있으며, 모델 학습 단계에서 과적합을 최소화하고 새로운 데이터에 잘 적응할 수 있도록 일반화 성능을 높이는 학습 전략이 더욱 중 요하다는 점을 알 수 있었다.
Table 4는 세 모델에 대한 혼동행렬(confusion matrix)과 이를 기반으로 산출한 ROC(receiver operating characteristic)의 AUC(area under the curve) 값을 비교한 결과이다. 모델 1은 clear 클래스에서 매우 높은 정확도(AUC 0.99)를 나타내고 있으며 FN(실제 True를 False로 예측한 경우) 없이 모든 영상을 정확하게 분류하고 있다. 그러나 rainfog(AUC 0.58)와 snow(AUC 0.48) 클래스에서는 정확도가 현저하게 낮아졌으며 전체적으로 불균형한 성능 분포를 보였다.
모델 2는 전반적으로 모든 클래스에서 고른 성능을 나타냈으며, 1번 모델과 마찬가지로 clear 클래스에서 높은 정확도를 유지하였고(AUC 0.98), fog(AUC 0.94)와 rainfog(AUC 0.94)와 rain(AUC 0.75)에서도 높은 안정적 성능을 보였다. 특히 rainfog에서는 20개 전부를 정확하게 예측하여 완벽한 분류를 달성하였다. 그러나 snow 클래스에서는 여전히 낮은 정확도(AUC 0.61)를 나타내어 향후 보완이 필요한 부분으로 보인다. 모델 3은 clear(AUC 0.98)와 fog(AUC 0.95) 클래스에서 매우 높은 정확도를 나타냈다. rain(AUC 0.81), rainfog(AUC 0.92), snow(AUC 0.78), snowfog(AUC 0.94) 클래스에서 역시 높은 성능을 나타냈다.
분석 결과를 종합하면, 모델 1은 clear 클래스에서만 높은 분류 성능을 보였으며 다른 클래스에서는 낮은 정확도를 보였다. 모델 2는 6개의 날씨 클래스 전체를 가장 균형 잡히고 일관된 분류 성능을 보였으며 특히, rain, rainfog, snowfog와 같은 난이도가 높은 클래스에서도 높은 정확도를 기록하였다. 모델 3은 rainfog를 제외하고, 모든 클래스에서 모델 2에 비해 높은 성능을 보였다. 이러한 결과를 근거로 CNN 기반의 모델은 정적인 날씨 조건에서는 우수한 분류 성능을 나타내지만 비와 눈과 같은 동적 날씨로 분류되는 날씨 클래스에서는 정확도가 떨어지는 현상이 나타나는 것을 알 수 있었다.
Fig. 7은 모든 유형에서 전반적으로 높은 분류 성능을 보였던 3번 모델의 6개 클래스에 대한 모델 민감도 와 위양성률의 관계를 시각화한 ROC Curve이다. 그래프의 X축은 FPR(false positive rate)을 나타내는 위 양성 예측 비율이며 Y축은 TPR(true positive rate)을 나타내는 양성 예측 비율이다. 그래프에서 곡선이 왼쪽 위에 가까울수록 모델이 예측을 잘하는 것을 나타내는 것이며 대각선(random baseline)에 가깝거나 아래에 위치하면 무의미한 모델이거나 오히려 반대로 예측하는 모델을 의미한다. Fig. 7에서 clear 클래스는 곡선이 매우 가파르고 왼쪽 위 끝에 거의 붙어 있는 것을 볼 수 있다. FPR은 거의 없으며 TPR이 매우 높은 것을 볼 때 맑은 날씨에 대한 분류 정확도가 매우 우수한 것을 알 수 있다. fog 클래스는 초반에 FPR이 약하게 올라가지만 금방 높은 TPR에 도달한다. 중간 구간에서 약간의 불안정성을 보이나 전반적으로 성능이 매우 좋은 것을 나타낸다. rain 클래스는 앞의 두 날씨 클래스와는 조금 다른 형태를 나타내고 있다. 초반에 상승이 느리며 곡선이 전체적으로 평탄하고 완만하게 상승하고 있다. 즉 FPR이 높아지고 TPR이 낮아지는 현상으로 rain을 정확하게 분류하지 못하고 오류가 많은 상태를 나타낸다. 모델이 rain 클래스에 대해 분류가 어렵고 신뢰도가 낮은 상태로 개선해야 할 요소가 있다고 판단할 수 있다. snow 역시 rain과 유사한 양상을 보였다. rainfog와 snowfog는 clear와 유사하게 초반에 매우 빠른 상승을 보이고 있고, 초반에 FPR이 거의 없이 TPR이 급격히 올라가는 것을 알 수 있다. 이런 결과는 모델이 rain과 snow에서 오분류 가능성이 높다는 것을 암시한다.
ROC Curve 결과로 모델의 날씨 클래스에 대한 분 류 정확도를 분석하면 정적인 날씨는 분류를 잘하고 있지만 동적인 날씨 분류는 어려워하고 있다. 하지만 동적 날씨의 특징을 가지고 있는 rainfog와 snowfog 의 날씨를 잘 분류한다는 것은 모델이 rain과 snow의 동적 날씨는 분류에 제한적이지만 fog에 대한 분류 성능이 높아서 복합날씨에 대한 학습을 통한 분류 능력이 향상된 것을 예상해 볼 수 있다. 결론적으로 ROC Curve 분석 결과, clear, fog, rainfog, snowfog 클래스에서는 높은 AUC(0.92∼0.98)를 기록하여 매우 우수한 분류 성능을 보였다. 반면, rain과 snow 클래스는 각각 AUC 0.81, 0.78의 상대적으로 낮은 정확도를 나타내어, 동적 날씨 상황에서는 분류 성능이 떨어지는 것으로 분석되었다.
Ⅳ. 토의 및 결론
안전한 항공기 운항을 위해 위험 기상 예보나 운항 제한 기준 등을 적용하여 사고 예방에 노력하고 있지만, 기상요소에 의한 항공기 사고는 여전히 계속 발생하고 있다. 특히, 저고도에서 운용되는 헬리콥터나 경량 항공기 등은 지상의 급변하는 기상현상에 직•간접적으로 노출될 수밖에 없어 기상으로 인한 사고에 자유로울 수 없다. 또한 항공시장의 급성장으로 항공 교통량 역시 비례적으로 증가할 것으로 예상되며, 이에 따라 기상요소로 인한 항공사고도 증가할 것으로 판단된다. 기상에 의한 항공기 사고는 지속해서 발생하지만, 저고도 항공기 조종사들을 위한 맞춤형 기상정보 제공 서비스는 미흡한 실정이다. 저고도 항공기 조종사들은 비행계획 단계에서 다양한 방법으로 기상정보를 수집하고 임무 수행 여부를 판단하지만, 조종사들이 요구하는 더 직관적이고 실질적인 기상정보를 제공하기 위해서는 다양한 방식의 실시간 기상정보 제공시스템 구축이 필수적이다.
본 연구는 이러한 문제 인식을 바탕으로 딥러닝의 CNN을 활용하여 CCTV 영상 기반의 날씨 분류 기술 개발 가능성을 확인하고자 하였다. 특히, 다양한 층 구조와 학습률, 일반화 등의 하이퍼파라미터를 조정하는 과정을 통해 3개의 모델을 구성하고, 성능을 비교 분석하였다. 그 결과, 설계된 CNN 모델들이 날씨 클래스를 비교적 명확하게 분류한다는 것을 확인하였다. 하지만 CNN 모델의 구조 설계에 따라 날씨 분류 정확도는 많은 차이를 보였다. 예를 들어, 다양한 형태의 날씨 특징을 더욱 효과적으로 학습하기 위해 블록 형태의 깊은 모델을 구성하였을 때 좋은 모의 효율을 기대할 수 있다. 하지만 과적합을 방지하기 위한 전략이 반드 시 동반될 필요가 있으며, 워밍업과 안정화 파인튜닝, EarlyStopping이 유용한 전략이 될 수 있다. 이러한 실험을 통해 모델의 과적합을 최소화하면서 날씨 클래스별 특징을 잘 학습할 수 있는 적절한 모델의 층과 하 이퍼파라미터 설정을 찾는 것이 CCTV 영상을 활용한 날씨 분류에서 중요하다는 것을 알 수 있었다.
본 연구의 가장 큰 성과는 도로 감시용 CCTV 영상을 활용하여 저고도 항공기 조종사에게 더욱 직관적인 실시간 기상정보를 제공할 수 있는 가능성을 확인한 데 있다. 특히, 이미지 분류에 특화된 CNN 모델을 적용하여 CCTV 영상의 기상 상태를 분석하고 분류의 정확도를 확인함으로써 그 실효성과 적용 가능성을 입증하였다. 제안된 CNN 기반 기상 분류 모델은 프레임 단위 연산 속도를 확보하여 저고도 항공 운항 환경에서의 실시간 적용 가능성을 확인하였다. 특히 운항실 시스템 및 EFB(electronic flight bag), 임무지원 휴대 단말기와 같은 휴대형 운항 지원 장비와 연계할 경우, 조종사에게 기상 분류 결과를 실시간으로 제공하여 운항 의사결정 지원에 기여할 수 있을 것으로 기대된다.
현재 기상청에서 제공하는 광역 기상정보는 실시간 관측 데이터를 기반으로 하지만, 내부 분석과 처리 과정을 거치기 때문에 현장에서 경험하는 실제 기상과 차이가 발생할 수밖에 없는 구조적 한계를 가진다(Jung et al., 2023). 이러한 한계는 CCTV 영상을 활용한 지역별 실시간 기상정보 제공을 통해 부분적으로 보완이 가능하다. 따라서 기상청의 수치예보 데이터와 결합하면 종합적이고 신뢰성 높은 기상정보를 제공하는 모바일 웹 서비스로 확장할 수 있어, 조종사에게 더욱 효과적인 실시간 기상 지원 체계를 구축할 수 있을 것이다. 이는 기상 예측 정확도가 크게 개선되는 효가를 가져와 기상으로 인한 항공기 사고의 발생률을 감소시킬 수 있을 것으로 기대된다.
다만, 본 연구에서 사용한 CNN 모델은 단일 이미지 분류에 특화되어 있어 움직임이 있는 동적 날씨(rain, snow)를 정밀하게 분류하는 데는 한계가 있었다. 따라서 이러한 한계를 최소화하기 위해 영상 내에서 연속된 이미지를 추출하여 동적 날씨의 특성을 최대한 반영하는 전처리를 하였지만, 향후 연구에서는 움직임 분 류에 특화된 3D CNN, 혹은 CNN과 결합한 하이브리드 모델 등 다양한 딥러닝 기법을 동일한 조건에서 비교 분석하여 최적의 성능을 가진 모델을 찾는 연구가 필요할 것이다. 또한, 연구 수행 기간의 제약으로 겨울 과 봄 계절에 국한된 제한적 데이터를 수집할 수밖에 없었던 점도 한계로 남는다. 우리나라의 사계절 특성을 충분히 고려하여 계절별로 다양한 기상 데이터를 추가로 수집하고, 이를 기반으로 빅데이터를 구축하여 학습 데이터의 다양성을 확보한다면 더욱 정확한 기상 분류 모델을 구축할 수 있을 것으로 예상된다. 이러한 한계에 대해서는 추후 지속적인 연구를 통해 보완해 나갈 예정이다.
이러한 몇 가지 한계에도 불구하고, 본 연구는 전국에 설치된 도로 감시용 CCTV를 이용해 저고도 항공기 조종사에게 실시간 기상정보 제공할 수 있다는 중요한 가능성을 제시하였다. 이는 저고도 항공기 조종사들에게 신속한 의사결정과 대응능력 향상에 도움이 될 것이다. 본 연구의 결과를 바탕으로 향후 다양한 딥러닝 모델 구조를 실험하고, 성능을 비교 분석하여 가장 최적화된 기상 분류 모델을 개발할 수 있을 것으로 기대한다. 또한 우리나라의 계절적 특성을 반영하여 빅데이터를 기반으로 학습이 이루어진다면 저고도 항공기 운항환경에서 실시간 기상정보 제공시스템이 성공적으로 구축되어 항공 운항 안전성 향상에 크게 이바지할 것으로 기대된다.
