헬리콥터 운항 의사결정 지원을 위한 CCTV 영상 기반 딥러닝 시정저하 기상분류 모델의 성능 및 적용성 분석

본 연구는 CCTV 영상을 활용한 딥러닝 기반 시정저하 기상 분류 모델의 성능을 비교하고, 시정 저하 여부를 기준으로 헬리콥터 운항 의사결정 지원 적용 가능성을 분석하는 것을 목적으로 수행하였다. Fig. 1과 같이 본 연구는 데이터 수집(data collection), 데이터 전처리(preprocessing), 딥러닝 모델링(deep learning modeling), 성능 평가 및 분석(performance evaluation and analysis), 운항 적용성 분석(operational applicability analysis)의 다섯 단계로 구성하였다. 각 단계는 이전 단계의 결과를 기반으로, 순차적으로 수행되었으며, 최종적으로 CCTV 기반 기상 분류 기술의 헬리콥터 운항 적용 가능성을 종합적으로 평가하였다.

Fig. 1. Research framework

Download Original Figure

먼저 도심지역, 산악지역 및 해안지역에 설치된 도로 CCTV로부터 다양한 계절과 시간대의 영상을 수집하여 기상 데이터셋을 구축하였다. 이후 입력 영상의 일관성을 확보하기 위하여 크기 조정, 정규화 및 학습·검증·시험 데이터 분할을 수행하였으며, 시계열 기반 모델에는 일정한 간격으로 추출한 연속 프레임을 이용하여 입력 시퀀스를 구성하였다. 이러한 전처리 과정을 통해 단일 이미지 기반 모델과 시계열 기반 모델 모두 동일한 데이터셋과 동일한 평가 환경에서 비교가 가능하도록 하였다.

전처리 된 데이터는 CNN, ResNet50, CNN- LSTM 및 CNN-Transformer의 네 가지 딥러닝 모델에 동일한 학습 조건으로 적용하여 기상 분류 성능을 비교하였다. 모델의 성능은 Accuracy, Precision, Recall, F1-score을 이용하여 정량적으로 평가하였으며, 단일기상과 복합기상에 대한 분류 특성과 모델별 오분류 양상을 함께 분석하였다. 또한 각 모델의 분류 결과를 비교하여 CCTV 영상 기반 기상 분류에 적합한 모델 구조를 도출하고, 공간적 특징과 시간적 특징이 기상 분류 성능에 미치는 영향을 함께 분석하였다.

마지막으로 성능 분석 결과를 바탕으로 CCTV 기반 기상 분류 기술의 헬리콥터 운항 적용 가능성을 검토하였다. 특히 운항 전 임무 계획, 운항 중 상황인식(situation awareness) 향상 및 go/no-go 의사결정 지원 측면에서의 활용 가능성을 분석하였으며, 기존 항공기상정보를 보완할 수 있는 지역 단위의 실시간 기상정보 생성 기술로서의 활용 가능성을 종합적으로 평가하였다. 이를 통해 본 연구는 단순한 기상 분류 모델의 성능 비교를 넘어, 실제 헬리콥터 운항환경에서 활용할 수 있는 운항 의사결정 지원 기술로의 적용 가능성을 제시하고자 하였다.

본 연구에서는 CCTV 영상 기반 딥러닝 기상 분류 모델의 성능을 비교하고, 헬리콥터 운항 의사결정 지원을 위한 적용 가능성을 분석하기 위하여 기상 데이터셋을 구축하였다. 데이터셋은 실제 저고도 운항환경에서 나타나는 다양한 기상 특성을 반영할 수 있도록 도심지역, 산악지역 및 해안 지역에 설치된 도로 CCTV 영상을 활용하여 구성하였다. 또한 특정 지역이나 계절에 편중된 데이터로 인한 모델의 일반화 성능 저하를 최소화하기 위하여 다양한 지역, 계절 및 시간대에 촬영된 영상을 포함하였다. 구체적으로 우리나라의 동고서저(東高西低) 지형적 특징을 고려하여 산악지형이 많은 동부와 서해안 및 동해안, 호남·김해·경기평야 등의 내륙평야 지역으로 세분화하였으며, 동일한 장소에서의 반복 수집은 배제하고 서울특별시, 부산광역시, 경기도, 강원도(제주도 제외) 등 총 15개 행정구역에서 데이터를 수집하였다.

Fig. 2는 CCTV 기상 데이터셋의 구축 절차를 나타낸다. 수집된 CCTV 영상은 원본 영상 단위로 관리하였으며, 먼저 영상의 화질과 기상 상태의 식별 가능 여부를 확인하였다. 이후 기상 상태가 비교적 명확하게 나타나는 구간에서 프레임을 추출하였으며, 화질이 저하되었거나 기상 상태를 명확하게 판별하기 어려운 영상은 데이터셋에서 제외하였다. 또한 동일한 기상 조건에서도 촬영 위치, 배경, 조도 및 도로 환경이 다양하게 포함되도록 데이터를 구성함으로써 특정 촬영 환경에 대한 과적합을 최소화하고자 하였다.

Fig. 2. Procedure for constructing the CCTV weather dataset

Download Original Figure

이와 같은 다양한 촬영 환경을 고려한 데이터 구성은 CCTV 기반 강우량 추정(Byun et al., 2022) 및 도시 침수 분석(Kim et al., 2012) 연구에서도 모델의 일반화 성능을 향상시키기 위한 중요한 요소로 제시된 바 있다.

기상 데이터는 실제 저고도 운항환경에서 발생할 수 있는 기상 조건을 고려하여 맑음(clear), 안개(fog), 비(rain), 눈(snow), 비·안개(rainfog) 및 눈·안개(snowfog)의 6개 클래스로 구성하였다. 이는 모두 시정 저하와 직접적으로 관련된 기상 현상이다.

특히 안개와 강우 또는 안개와 강설이 동시에 나타나는 복합기상은 시정 저하와 강수 현상이 함께 발생하여 조종사의 상황인식과 운항 의사결정에 영향을 미칠 수 있으므로 별도의 기상 클래스로 정의하였다. 이러한 클래스 구성은 기존 연구에서 주로 다루어진 단일기상뿐만 아니라 실제 운항환경에서 발생할 수 있는 복합기상에 대한 모델의 분류 특성을 함께 분석하기 위한 것이다.

추출된 프레임에는 모델 입력을 위한 공통 전처리 기준을 적용하였다. 모든 프레임은 224 × 224 픽셀로 크기를 조정하였으며, 학습 안정성과 입력값의 일관성을 확보하기 위하여 정규화(normalization)를 수행하였다. 단일 이미지 기반 모델인 CNN과 ResNet50에는 개별 프레임을 입력하였으며, 시계열 기반 모델인 CNN-LSTM과 CNN-Transformer에는 일정한 간격으로 추출한 15개의 연속 프레임을 하나의 입력 시퀀스로 구성하였다. 이를 통해 시계열 기반 모델이 프레임 간 시간적 변화 정보를 학습할 수 있도록 하였다.

데이터셋은 학습(training), 검증(validation) 및 시험(test) 데이터로 구분하였다. 동일한 원본 CCTV 영상에서 추출된 프레임이나 시퀀스가 서로 다른 데이터셋에 포함될 경우, 배경과 촬영 위치가 유사한 데이터가 학습과 평가에 동시에 사용되어 데이터 누수(data leakage)가 발생할 수 있다. 이에 본 연구에서는 이미지와 시퀀스를 생성하기 전에 원본 영상을 기준으로 학습, 검증 및 시험 데이터를 8:1:1의 비율로 우선 분할하였다. 이후 각 데이터 영역에 포함된 원본 영상으로부터 단일 이미지와 시계열 데이터를 각각 생성하였다.

Table 1에 제시된 이미지 및 시퀀스 표본 수는 원본 영상을 8:1:1로 분할한 이후 생성된 최종 데이터의 현황이다, 단일 이미지 기반 모델과 시계열 기반 모델에는 동일한 원본 영상 분할 기준을 적용하였으며, 각 모델은 학습 과정에 사용되지 않은 독립 시험 데이터셋을 이용하여 평가하였다. 이러한 영상 단위 분할 방식은 학습 데이터와 평가 데이터 간의 독립성을 확보하고, 모델의 일반화 성능이 과대 평가되는 것을 방지하기 위한 것이다.

본 연구에서 적용한 CNN, ResNet50, CNN-LSTM, CNN-Transformer는 영상 및 비디오 분류 분야에서 널리 활용되는 대표적인 모델 구조를 체계적으로 비교하기 위하여 선정하였다. CNN은 영상 분류의 가장 기본적인 구조를 대표하는 기준 모델(baseline)로, ResNet50은 잔차 연결을 통한 심층 구조가 성능에 미치는 영향을 확인하기 위한 모델로 선정하였다. 또한 CNN-LSTM과 CNN-Transformer는 각각 순환 신경망과 어텐션 메커니즘을 기반으로 프레임 간 시간적 특징을 학습하는 대표적인 시계열 모델 구조로서, 단일 이미지 기반 모델과 시계열 기반 모델 간의 성능 차이를 비교하기 위하여 선정하였다. 이를 통해 동일한 데이터셋과 학습 조건에서 모델 구조에 따른 기상 분류 성능과 특성을 객관적으로 비교하고, 헬리콥터 운항 의사결정 지원에 적합한 모델을 도출하고자 하였다.

Fig. 3은 본 연구에 적용된 네 가지 딥러닝 모델의 입력 및 처리 구조를 나타낸다.

Fig. 3. Deep learning models applied

Download Original Figure

CNN(convolutional neural network)은 영상의 공간적 특징을 추출하는 대표적인 딥러닝 모델로, 본 연구에서는 기준 모델로 적용하였다. 합성곱 및 풀링 계층을 통해 CCTV 영상의 시정, 명암 대비 및 강수 흔적과 같은 특징을 학습하여 기상 상태를 분류하였다(Krizhevsky et al., 2012).

ResNet50은 잔차 연결(residual connection)을 통해 심층 네트워크의 학습 안정성을 높인 모델이다(He et al., 2016). 본 연구에서는 기본 CNN보다 깊은 특징 추출 구조가 CCTV 기상 분류 성능에 미치는 영향을 비교하기 위해 적용하였다.

CNN-LSTM은 CNN으로 각 프레임의 공간적 특징을 추출한 후 LSTM(long short-term memory)을 이용하여 프레임 간 시간적 변화를 학습하는 모델이다. 본 연구에서는 일정한 간격으로 추출한 15개의 연속 프레임을 하나의 입력 시퀀스로 구성하였다. CNN- Transformer는 CNN으로 추출한 프레임별 공간적 특징을 transformer encoder에 입력하고, self-attention을 통해 프레임 간 관계를 학습하는 모델이다. 본 연구에서는 CNN-LSTM과 비교하여 시간적 특징의 학습 방식에 따른 성능 차이를 분석하기 위해 적용하였다.

본 연구에서는 이와 같이 공간적 특징을 활용하는 단일 이미지 기반 모델(CNN, ResNet50)과 공간·시간적 특징을 활용하는 시계열 기반 모델(CNN-LSTM, CNN-Transformer)을 비교하였으며, 각 모델의 입력 형태와 주요 특성은 Table 2와 같다.

본 연구에서는 CCTV 영상으로부터 다양한 기상 특성을 효과적으로 학습하고 모델 간 성능을 공정하게 비교하기 위하여 모든 모델에 동일한 학습 및 평가 환경을 적용하였다. 특히 모델의 일반화 성능을 향상시키고 학습 안정성을 확보하기 위하여 사전 학습된 백본에 대해 단계적 미세조정(staged fine-tuning)을 적용하였다.

이와 같은 전략은 모델이 일반적인 영상 특징을 먼저 학습한 후, 기상 분류에 필요한 특징을 단계적으로 학습하도록 구성한 방법이다. 초기 단계에서는 각 모델의 특징 추출기를 이용하여 기본적인 공간 특징을 안정적으로 학습하고, 이후 기상 데이터셋에 적합하도록 모델을 미세조정하였다. 이러한 단계적 학습은 학습 초기의 불안정성을 줄이고 모델의 일반화 성능을 향상시키는 동시에 과적합을 완화하기 위한 목적으로 적용하였다.

Table 3은 본 연구에서 적용한 주요 학습 조건을 나타낸다.

모든 모델은 동일한 입력 영상 크기, 데이터 분할 기준 및 손실 함수를 적용하여 학습하였다. 다만 각 모델은 구조적 특성이 상이하므로, 옵티마이저 세부 설정과 학습률 스케줄은 각 모델이 안정적으로 수렴할 수 있도록 모델별로 최적화하여 적용하였다. 이는 입력 데이터 형식, 데이터 분할 기준과 같이 통제 가능한 실험 조건은 동일하게 유지하면서, 모델 구조에 따른 기상 분류 성능의 차이를 객관적으로 비교하기 위한 것이다. 최종 성능 평가는 학습 및 검증 과정에 사용되지 않은 독립 시험 데이터셋을 이용하여 수행하였다.

모델의 성능 평가는 accuracy, precision, recall, F1-score을 이용하여 수행하였다. 모델의 전체 분류 성능은 accuracy를 기본 평가 지표로 사용하였으며, 클래스별 분류 성능을 종합적으로 분석하기 위하여 precision, recall 및 F1-score를 함께 산출하였다.

Accuracy는 전체 시험 데이터 중 올바르게 분류된 비율을 나타내는 지표로 모델의 전반적인 분류 성능을 평가하는 데 사용하였다. 그러나 accuracy만으로는 클래스별 성능 차이나 오분류 특성을 충분히 설명하기 어려우므로 precision, recall 및 F1-score를 함께 분석하였다. Precision은 특정 클래스로 예측한 결과의 정확성을, recall은 실제 해당 클래스를 올바르게 검출한 비율을 의미하며, F1-score는 precision과 recall을 종합적으로 반영하는 지표로 활용하였다.

모델의 오분류 특성을 분석하기 위하여 classification report를 활용하였다. Classification report는 각 클래스의 precision, recall 및 F1-score를 종합적으로 제시하여 단일기상과 복합기상 조건에서의 분류 특성과 클래스별 오분류 경향을 비교하는 데 활용하였다. 최종적으로 각 모델의 성능은 accuracy, precision, recall 및 F1-score 분석 결과를 종합하여 비교하였으며, 평가 결과는 다음 장에서 모델별 기상 분류 성능과 헬리콥터 운항 의사결정 지원 측면에서 분석하였다.

모델의 성능은 accuracy와 함께 각 클래스의 성능을 동일한 비중으로 반영한 precision, recall 및 F1-score를 이용하여 평가하였으며, 모델별 전체 성능 비교 결과는 Table 4와 같다.

Table 4에서 보는 바와 같이 CNN은 모든 평가 지표에서 가장 우수한 성능을 나타냈으며, CNN-LSTM, CNN-Transformer, ResNet50 순으로 성능이 나타났다. CNN의 accuracy는 0.969로 가장 높았으며, CNN-LSTM은 0.854로 두 번째로 높은 결과를 보였다. 반면 ResNet50은 가장 낮은 성능을 나타내어 모델 구조에 따른 분류 성능 차이가 뚜렷하게 확인되었다.

CNN 모델이 시계열 기반 모델(CNN-LSTM, CNN- Transformer)보다 우수한 성능을 나타낸 것은, CCTV 영상에서 기상 상태를 구분하는 주요 정보가 시정(visibility), 명암 대비(contrast) 및 강수 흔적과 같은 단일 프레임 내 공간적 특징(spatial features)에 크게 의존하기 때문으로 판단된다. 본 연구에서 사용한 CCTV 영상은 고정된 위치에서 촬영되어 연속 프레임 간 장면 변화가 크지 않으며, 대부분의 기상정보가 단일 프레임에도 충분히 표현되어 있다. 이에 따라 단일 이미지 기반의 CNN은 복잡한 시간적 정보 없이도 공간적 특징만으로 기상 상태를 높은 정확도로 분류할 수 있었던 것으로 해석된다.

반면 CNN-LSTM과 CNN-Transformer는 연속된 프레임의 시간적 정보를 함께 활용하는 시계열 기반 모델임에도 CNN보다 낮은 성능을 나타냈다. 일반적으로 시계열 기반 모델은 객체의 움직임이나 장면 변화가 중요한 영상 분석에서 우수한 성능을 보이는 것으로 알려져 있다. 그러나 본 연구에서 구축한 CCTV 기상 데이터셋에서는 시간에 따른 변화보다 단일 프레임에서 나타나는 시정, 배경 대비 및 강수 형태와 같은 공간적 특징이 기상 판단에 더욱 중요한 정보를 제공한 것으로 판단된다. 또한 시계열 모델은 입력 시퀀스의 길이와 데이터 규모의 영향을 크게 받기 때문에, 제한된 시퀀스 데이터 환경에서는 시간적 특징을 충분히 학습하지 못한 것으로 해석된다. 한편 CNN이 동일한 단일 이미지 기반 모델인 ResNet50보다도 우수한 성능을 보인 것은 모델 구조 및 데이터 규모의 상호작용과 관련이 있다. ResNet50은 깊은 잔차학습(residual learning) 구조를 적용한 모델임에도 가장 낮은 성능을 보였다. 이는 대규모 일반 영상 데이터셋에서는 우수한 특징 추출 성능을 보이는 심층 네트워크라 하더라도, 본 연구에서 사용한 CCTV 기상영상과 같이 상대적으로 제한된 데이터 규모와 단순한 장면 구조에서는 깊은 네트워크의 장점이 충분히 발휘되지 않았기 때문으로 판단된다. 오히려 비교적 단순한 구조의 CNN이 CCTV 영상의 공간적 특징을 효과적으로 학습하여 더 높은 분류 성능을 나타낸 것으로 분석된다.

한편, 검증 단계와 최종 평가 단계 간 성능 변화 폭은 모델별로 상이하게 나타났다. CNN은 검증 단계 대비 평가 단계에서 뚜렷한 성능 향상을 보인 반면, ResNet50은 검증 단계보다 낮은 성능을 나타내어 모델 구조에 따라 일반화의 견고성(robustness)이 다르게 발현될 수 있음을 시사하였다. 이는 최고 성능(peak performance)과 일반화 안정성이 반드시 일치하지 않을 수 있음을 보여주는 결과로, CNN의 경우 평가 데이터셋의 시각적 특성에 상대적으로 민감하게 반응했을 가능성도 배제할 수 없다.

종합하면, 본 연구의 CCTV 기상 데이터셋에서는 단일 프레임의 공간적 특징이 시간적 정보보다 분류 성능에 더 큰 영향을 미쳤으며, 이에 따라 CNN이 실시간 기상 분류에 가장 적합한 모델로 나타났다. 특히 CNN 모델은 가장 우수한 분류 성능과 안정적인 학습 특성을 보였으며, 지역 단위의 실시간 기상정보를 생성하여 헬리콥터 운항 의사결정을 지원하기 위한 모델로 활용 가능성이 높은 것으로 판단된다.

모델별 기상 분류 특성을 분석하기 위하여 맑음(clear), 안개(fog), 비(rain), 눈(snow), 비·안개(rainfog) 및 눈·안개(snowfog)의 여섯 개 기상 클래스에 대한 precision, recall 및 F1-score를 비교하였다. 모든 모델의 클래스별 분류 성능은 Table 5에 정리하였으며, 이를 바탕으로 단일기상과 복합기상에서의 분류 특성을 비교·분석하였다.

전체적으로 복합기상(rainfog, snowfog)에서는 모델 간 성능 차이가 단일기상보다 더욱 크게 나타났다. 특히 CNN-LSTM과 CNN-Transformer는 rainfog와 snow에서 recall이 크게 낮아지는 경향을 보였다(CNN-LSTM rainfog recall 0.500, CNN-Transformer snow recall 0.500, rainfog recall 0.375). 반면 CNN은 단일기상뿐 아니라 복합기상에서도 비교적 안정적인 precision과 recall을 유지하였다.

맑음(clear)은 모든 모델에서 가장 우수한 분류 성능을 나타냈다. Clear는 모든 모델에서 상대적으로 높은 분류 성능을 보였으며, 특히 CNN은 오분류 없이 가장 안정적인 결과를 나타냈다. 이는 맑은 조건에서 시정과 배경 대비가 뚜렷하여 다른 기상 클래스와의 구분이 상대적으로 용이했기 때문으로 판단된다.

Fog는 CNN에서 precision 1.000에 비해 recall이 0.766으로 낮게 나타났다. 이는 fog로 분류한 결과의 정확성은 높았으나, 실제 fog 영상의 일부가 다른 기상 클래스로 오분류되었음을 의미한다.

Rain과 snow는 CNN에서 매우 높은 분류 성능을 보였다. 반면 시계열 기반 모델은 snow에서 상대적으로 낮은 precision(CNN-LSTM 0.529, CNN-Transformer 0.294)을 나타내어, 강설의 공간적 특징을 안정적으로 구분하지 못한 것으로 분석되었다.

반면 복합기상(rainfog 및 snowfog)에서는 CNN을 제외한 모델의 성능 저하가 두드러졌다. 특히 rainfog의 recall은 CNN-LSTM에서 0.500, CNN-Transformer에서 0.375로 낮게 나타나, 복합기상 조건을 안정적으로 검출하는 데 한계가 있음을 보여주었다.

모델별 비교에서는 CNN이 단일기상과 복합기상 모두에서 가장 안정적인 분류 성능을 나타냈다. CNN- LSTM은 단일기상에서는 비교적 우수한 성능을 유지하였으나 일부 복합기상에서 recall이 감소하는 경향을 보였으며, CNN-Transformer와 ResNet50은 복합기상 조건에서 precision과 recall이 모두 낮게 나타나 상대적으로 불안정한 분류 특성을 보였다. 이러한 클래스별 분석 결과는 3.1절에서 확인된 전체 성능 비교 경향이 개별 기상 클래스 수준에서도 일관되게 나타난 것으로, 본 연구에서 구축한 CCTV 기상영상에서는 시간적 정보보다 단일 프레임의 공간적 특징이 기상 분류에 더욱 중요한 역할을 수행하는 것을 다시 확인하였다.

종합하면, clear, rain 및 snow와 같이 대표적인 공간적 특징이 비교적 명확한 기상 조건에서는 단일 이미지 기반 CNN이 가장 높은 분류 성능을 나타냈다. 반면 fog는 precision과 recall의 격차를 통해 복합기상과의 혼동 가능성을 시사하였으며, rainfog와 snowfog와 같은 복합기상에서는 특히 시계열 기반 모델(CNN-LSTM, CNN-Transformer)의 recall 저하가 두드러졌다. 이러한 결과는 CCTV 기반 기상 분류 모델을 헬리콥터 운항 의사결정 지원에 적용할 때 전체 accuracy뿐 아니라 저시정 및 복합기상 클래스의 recall과 precision 격차를 함께 고려해야 함을 의미한다. 특히 실제 복합기상을 단일기상으로 판단할 경우 운항자가 강수와 시정 저하가 동시에 존재하는 위험 조건을 충분히 인지하지 못할 수 있으므로, 복합기상에 대한 분류 결과는 보수적인 운항 판단을 지원하는 방향으로 활용할 필요가 있다.

본 연구의 결과에서 CNN 모델은 단일기상과 복합기상 전반에서 가장 우수하고 안정적인 분류 성능을 나타냈다. 이에 본 절에서는 CNN을 중심으로 CCTV 기반 시정저하 기상분류 결과를 헬리콥터 운항 의사결정 과정에 적용하기 위한 활용 구조를 검토하였다.

Fig. 4는 기존 항공기상정보와 CCTV 기반 기상분류 결과가 헬리콥터 운항 의사결정을 지원하는 개념을 나타낸 것이다.

Fig. 4. Operational concept of CCTV-based weather information for helicopter operational decision support

Download Original Figure

KMA, METAR/TAF/SIGMET, AWS, 기상레이더 및 위성영상과 같은 기존 항공기상정보에 CCTV 기반 기상분류(CNN) 결과를 추가하여 통합 기상 평가(integrated weather assessment)를 구성하고, 이를 임무 계획(mission planning), 경로 선정(route selection), 착륙 판단(landing decision) 및 go/ no-go 의사결정의 네 가지 운항 의사결정 단계에 반영하는 구조이다.

운항 예정 경로, 목적지 또는 임무지역 주변의 CCTV 영상이 입력되면 기상분류 모델이 해당 영상을 clear, fog, rain, snow, rainfog 및 snowfog 중 하나의 기상상태로 분류하고, 그 결과를 CCTV의 위치 및 촬영 시점과 함께 조종사 또는 운항관리자에게 제공하는 방식이다. 이때 분류 결과는 운항 가능 여부를 자동으로 결정하는 정보가 아니라, 해당 지역의 실제 영상에서 확인되는 기상상태를 일관된 기준으로 제시하는 보조정보로 활용한다.

CCTV 기반 기상분류 정보는 헬리콥터 운항의 각 의사결정 단계에서 서로 다른 목적으로 활용될 수 있다. 운항 전 단계에서는 출발지, 목적지 및 비행경로 주변 CCTV의 기상분류 결과를 확인하여 임무 수행 가능성, 예상 경로 및 대체 경로를 검토하는 자료로 활용할 수 있다. 예를 들어 목적지 주변 CCTV에서 Fog 또는 rainfog가 분류된 경우에는 해당 지역의 시정 저하 가능성을 기존 기상자료와 함께 재확인하고, 출발 지연이나 대체 목적지 적용 여부를 검토할 수 있다.

운항 중에는 비행경로 전방 또는 임무지역 주변의 CCTV 정보를 이용하여 국지적인 기상변화를 추가로 확인할 수 있다. 경로 전방의 CCTV 분류 결과가 clear에서 fog, rain 또는 복합기상으로 변화한 경우에는 현재 계획한 경로의 지속 여부를 재검토하고, 필요에 따라 우회, 대기 또는 회항 가능성을 판단하는 참고자료로 활용할 수 있다. 다만 3.2절에서 확인된 바와 같이 fog는 recall이 상대적으로 낮아 실제 fog 상황의 일부가 다른 기상 클래스로 오분류될 가능성이 있으므로, 경로 전방 CCTV의 분류 결과만으로 시정 상태를 단정하기보다 기존 항공기상정보와의 교차 확인을 병행할 필요가 있다. 착륙 접근 단계에서는 착륙 예정 지역 주변의 기상상태를 확인하여 접근 지속 여부, 대체 착륙지 사용 또는 임무 중단 여부를 검토하는 보조정보로 활용할 수 있다. 특히 Table 5에서 CNN이 clear, rain, snow에서는 완전한 분류 성능을 보인 반면 rainfog와 snowfog에서는 상대적으로 낮은 precision을 나타낸 점을 고려하면, 착륙 접근 단계에서 복합기상이 분류된 경우에는 단일기상이 분류된 경우보다 더 보수적으로 접근 지속 여부를 판단할 필요가 있다. 다만 CCTV 영상은 특정 방향과 위치의 상태만을 나타내므로, 단일 CCTV의 분류 결과만으로 운항 결정을 내려서는 안 된다.

이러한 적용 방식은 시간적 긴급성이 높은 헬리콥터 임무에서 의미가 있다. 응급의료이송에서는 출발지와 이송 목적지 주변의 실제 기상상태를 신속하게 확인하여 출동 및 이송 경로를 검토할 수 있으며, 산불진화 임무에서는 산악지역의 저시정이나 강수 발생 여부를 확인하여 임무지역 진입 가능성을 판단하는 데 참고할 수 있다. 해양 수색·구조 및 경찰·소방 임무에서도 임무지역 인근 CCTV가 확보된 경우 국지적인 안개와 강수 상태를 확인하여 경로 선정과 임무 지속 여부를 검토하는 데 활용할 수 있다

현재 헬리콥터 운항에서는 METAR, TAF, SIGMET, AWS, 기상레이더 및 수치예보자료 등 다양한 항공기상정보가 활용된다. CCTV 기반 기상분류 결과는 이러한 정보를 대체하는 것이 아니라, 관측지점이 부족하거나 국지적인 기상변화가 빈번한 지역의 실제 상태를 추가로 확인하는 보완적 현장 기상정보로 활용하는 것이 적절하다. 특히 기존 항공기상정보와 CCTV 분류 결과가 서로 다르거나, CCTV에서 fog, rainfog 또는 snowfog와 같은 운항상 주의가 필요한 상태가 분류된 경우에는 조종사와 운항관리자가 관련 기상자료와 원본 영상을 추가로 확인하도록 하는 방식으로 적용할 수 있다. 최종적인 운항 결정은 기존 운항절차와 조종사의 판단에 따라 이루어져야 한다.

실제 운항지원 체계로 구현하기 위해서는 기상 클래스만 표시하는 것보다 CCTV 위치, 영상 촬영 시점, 원본 영상 및 분류 결과를 함께 제공하는 방식이 필요하다. 또한 다수의 CCTV 가운데 운항경로와 관련된 지점을 선별하여 제시하고, 시간에 따른 기상분류 결과의 변화를 확인할 수 있도록 구성해야 한다. 이러한 정보 제공 방식은 조종사 또는 운항관리자가 여러 CCTV 영상을 개별적으로 검색하고 판단하는 부담을 줄이고, 운항에 필요한 지역 기상정보를 보다 신속하게 확인하는 데 기여할 수 있다.

본 연구는 고정형 도로 CCTV 영상을 이용한 기상분류 성능과 개념적 적용 가능성을 분석한 것으로, 실제 헬리콥터 운항환경에서의 정보 제공 시간, 시스템 처리 지연, 사용자 인터페이스 및 의사결정 효과를 검증하지는 않았다. 또한 운고, 시정, 강수량 및 풍속과 같은 항공기상요소를 직접 산출하지 못한다. 따라서 실제 적용을 위해서는 다양한 지역과 계절의 CCTV 데이터를 확대하고, 항공기상정보와의 연계, 분류 결과의 갱신 주기, 오분류 시 대응 절차 및 실제 운항자를 대상으로 한 현장 검증이 추가로 필요하다.

종합하면, CCTV 기반 기상분류 기술은 운항 예정 지역과 경로 주변의 실제 기상상태를 자동으로 분류하여 운항 전 임무 계획, 운항 중 경로 재검토 및 착륙 접근 단계의 판단을 지원하는 보완적 정보로 활용할 수 있다. 따라서 CCTV 기반 기상분류 결과는 기존 항공기상정보와 함께 종합적으로 활용될 때 운항 의사결정 지원 효과를 더욱 높일 수 있을 것으로 판단된다. 본 연구는 기상분류 모델의 성능을 비교하는 데 그치지 않고, 분류 결과를 실제 헬리콥터 운항의 의사결정 절차와 연계하여 활용 방안을 제시함으로써 CCTV 기반 기상분류 기술의 운항 적용 가능성을 구체적으로 제시하였다는 점에서 의의가 있다.