항공기 지상조업 관제를 위한 YOLO 기반 데이터셋 구축 및 객체 인식 통합 프레임워크

본 연구에서 제안하는 프레임워크는 Fig. 2와 같다. 지상조업 객체를 수동으로 라벨링하여 기초 데이터셋(v₀_D)을 생성하고, YOLO 모델을 학습 및 최적화하여 기준 YOLO 모델(v₀_M)을 구축한다. 이들은 데이터셋 규모 및 불균형 정도와 객체 탐지 성능의 개선 여부를 정량적으로 비교하는데 활용된다.

Fig. 2. Framework

Download Original Figure

이후, 여러 이미지(v_n_I)를 현행 모델(v_n_M)에 입력하여 객체 인식을 수행하고, 이를 기반으로 오토라벨링 데이터(v_n_AL_D)를 생성한다. 이때, 초기 모델의 확증 편향을 완화하고, 성능 붕괴 최소화를 위해 데이터를 단계적으로 추가하는 점진적 확장 전략을 채택했다. 오토라벨링 데이터(v_n_AL_D)는 기존 데이터셋(v_n_D)과 병합되어 차기 데이터셋(v_n+1_D)으로 구축되며, 재학습과 최적화를 거쳐 신규 YOLO 모델(v_n+1_M)을 생성한다. 이러한 순환 과정을 반복함에 따라 신규 모델이 현행 모델(v_n_M)을 지속적으로 대체하며, 모델은 확장된 데이터 분포를 반영하여 객체 탐지 성능이 점진적으로 고도화된다. 즉, YOLO 모델은 차기 학습을 위한 라벨 생성기인 동시에 실시간 객체 탐지 모델의 역할을 수행한다.

데이터 수집을 위해 김포공항 주기장에서 지상조업 전체 과정을 촬영했다. 항공기를 기준으로 정면, 우측후방, 좌측후방 시점을 기준으로 총 120GB 규모의 24개의 영상을 확보했다. 또한, 시간대, 기상, 형태 등의 조건에서 데이터 다양성을 확보하기 위해 지상조업 객체가 포함된 외부 데이터셋을 추가로 조사했다. 그 결과, AGVS 데이터셋(Zhang et al. 2022)과 AI-Hub의 활주로 내 이상물체 감지 객체 이미지 데이터를 확보했으며, AI-Hub는 약 974GB의 규모로 이미지-라벨 쌍과 이미지가 혼재되어 있다.

다음으로 항공사 램프마스터와 협의를 통해 지상조업과 관련성이 높은 14개 객체를 선정하였다(Table 1). 이후 방향 별 영상을 이미지로 저장한 뒤, 바운딩박스 라벨링을 수행했다. 그 결과, 초기 학습을 위한 이미지-라벨 데이터 3,003쌍을 구축했다. 이를 바탕으로 초기 YOLO 모델을 구축했으며, 추가 데이터셋은 김포공항 주기장 영상, AGVS 데이터셋, AI-Hub 데이터를 활용했다. AI-Hub 데이터는 14개 객체가 존재하는 이미지를 선별했으며, 라벨 데이터가 없는 경우에는 직접 라벨링을 수행하여 데이터를 확보했다. 이 과정에서 항공기, 카고로더, 카고컨베이어, 토잉카 등 지상조업 객체의 외형이 다르게 나타났으며, 이를 통해 객체 형태의 다양성을 확보했다(Fig. 3).

Fig. 3. Ground handling image data

Download Original Figure

본 연구는 YOLO11 모델의 객체 탐지 성능을 향상시키고, 데이터셋의 신뢰도를 확보하기 위해 다양한 파라미터를 조합했다(Table 2).

우선, 5개 크기의 모델(n, s, m, l, x)을 활용했으며, 입력 이미지의 해상도는 320, 640, 1,280 px로 설정했다. 가중치 업데이트를 위한 옵티마이저는 전통적인 SGD부터 수렴 속도가 빠른 Adam, 일반화 성능이 개선된 AdamW를 적용했다. 또한, 학습률(learning rate)을 조절하는 코사인 스케줄(cos_lr) 여부를 선택하여 최적의 수렴 경로를 탐색했다. 학습 횟수(epoch)는 100에서 300까지 설정하고, 가중치를 업데이트하는 배치 크기(batch size)를 자동 최적화(-1)하거나 2에서 64까지 다양화했다. 특히, 모델의 성능 개선이 정체될 때 학습을 중단하는 조기 종료(early stopping)를 도입하고, 대기시간(patience)을 10에서 30까지 설정하여 과적합을 방지하고 학습 효율을 높였다.

본 연구는 4개의 데이터셋을 바탕으로 4개의 YOLO 모델을 학습 및 최적화했다(Table 3). v₄ 데이터셋은 마지막 YOLO 모델(v₃_M)의 의사 라벨링을 통해 도출된 것으로, 이전 데이터가 모두 포함되어 있다. 인간이 라벨링한 v₀ 데이터셋으로 v₀ 모델을 최적화하고, 신규 이미지의 의사 라벨링(v₀_AL)을 v₀과 통합하여 v₁ 데이터셋을 구축했다. v₁ 데이터셋은 v₁ 모델(v₁_M) 최적화에 활용되었으며, v₁ 모델로 생성한 의사 라벨링(v₁_AL)을 기존 데이터와 병합하여 v₂ 데이터셋을 구축했다. 이러한 과정을 반복하여 v₃ 모델(v₃_M)과 v₄ 데이터셋을 구축했다.

YOLO 모델의 학습 결과는 Table 4와 같다. 학습 결과, 데이터셋이 확장됨에 따라 모델 성능이 향상하는 경향을 보였다. 4번, 7번 11번, 15번 모델은 각각 0.88, 0.93, 0.85, 0.94를 기록했으며, v₃ 데이터셋에서 최고 성능이 도출되었다. 이는 데이터셋의 점진적 확장이 객체 검출 성능 향상에 영향을 미치는 것을 시사한다. 이후, 세부 파라미터에 따른 모델의 성능을 분석한 결과, 다음과 같은 특징이 도출되었다. 첫 번째로, 입력 이미지의 해상도가 객체 검출 결과에 영향을 미쳤다. 데이터셋이 동일하더라도 입력 이미지의 크기를 640에서 1,280으로 확장했을 때, 모델의 종류와 상관없이 성능 향상이 나타났다. 특히, v₀에서 해상도를 높였을 때(2번, 3번), mAP가 약 10% p 상승했다. 이는 고해상도 이미지가 작은 객체나 복잡한 배경에서 특징 추출에 유리한 것을 의미한다. 두 번째로, 데이터셋의 점진적 확장이 모델 규모에 따른 성능 차이를 상쇄하는 효과가 있는 것으로 나타났다. v₀∼v₂에서는 상대적으로 큰 YOLO11l 모델의 성능이 높게 도출되었고, 모델 크기에 따른 성능 편차도 존재했다. 그러나, 데이터셋의 확장에 따라 해당 격차는 줄어드는 양상을 보였다. 특히, v₃ 데이터셋은 경량 모델인 YOLO11s가 mAP 0.94를 기록하며, 최고 성능을 도출했다(15번). 이는 양질의 데이터를 확보하는 것이 성능 향상에 필수적인 것을 시사한다. 특히, 데이터셋 버전을 기준으로 최고 성능은 4번, 7번, 11번, 15번 모델인 것을 확인할 수 있다. 4번 모델과 7번 모델은 데이터셋 버전만 v₀과 v₁으로 다르고, 모델의 종류, 입력 해상도, batch size 등 동일한 조건으로, mAP가 0.88에서 0.93으로 상승한 것을 확인할 수 있다. 이를 통해 학습 데이터 규모의 증가와 상대적으로 적었던 지상조업 장비 데이터가 보강된 것이 성능 향상에 도움이 되는 것으로 해석할 수 있다. 또한, 다양한 학습 파라미터의 조합을 통해 v₃에서 최고 성능인 0.94가 도출된 것은 데이터셋의 양적 확장이 탐지 성능 개선과 관련될 수 있음을 시사한다.

추가로, Table 4의 15개 모델을 대상으로 정탐(true positive)인 바운딩박스의 폭, 높이, 면적을 원본 이미지 좌표계에서 산출했다. 이를 위해 각 데이터셋에서 활용한 테스트 이미지를 활용했으며, 이는 Full HD(1,920×1,080)급에서 4K(3,840×2,160)급 해상도이다. Table 5는 최소 바운딩박스의 폭(w), 높이(h), 면적(area)을 픽셀 단위로 정리한 결과이다. 분석 결과, 입력 크기가 640인 모델은 11∼13 px의 폭, 9∼12 px의 높이, 210∼270 px² 면적으로, 2번 모델의 바운딩박스가 가장 작은 것을 확인했다. 입력 크기가 1,280인 경우, 5∼10 px의 폭, 8∼10 px의 높이, 면적은 66∼192 px² 범위로 나타났고, 4번 모델의 바운딩박스가 가장 작은 것을 확인했다(66.10 px²). 특히, 대부분 바운딩박스의 폭, 너비, 면적은 1,280이 작은 것으로 보아 입력 해상도가 증가할수록 더 작은 픽셀 규모의 객체까지 탐지가 가능한 것을 시사한다. 그러나, 2번 모델의 최소 바운딩박스는 210.63 px² 크기의 고임목이다. 해당 이미지의 해상도는 2,336×1,080 px로, 전체 이미지 크기의 약 1/12,000 수준이다. 따라서, 입력이 640이라고 하더라도 실질적인 탐지 성능을 확보할 수 있다는 것을 확인했다.

본 연구는 지상조업에 특화된 객체 인식 모델과 데이터셋을 구축하기 위해 5단계의 점진적 확장 전략을 채택했다. 이 과정에서 최적화가 완료된 4개의 YOLO 모델을 활용하여 의사 라벨링을 수행했다(Table 3). v₀부터 v₄까지 연구를 통해 구축한 데이터셋의 세부 구성은 Table 6과 같다. 초기 단계인 v₀ 데이터셋은 인간이 직접 라벨링을 수행했으며, 3,003쌍의 이미지-라벨과 32,544개의 객체가 포함되어 있다. 이후, 점진적 확장을 통해 87,410쌍의 이미지-라벨과 849,183개의 객체로 구성된 v₄ 데이터셋을 구축했으며, 이는 초기 대비 약 26배에서 30배 증가한 수치이다. 또한, v₀ 데이터셋에서 급유차(742개), 컨테이너(937개), 케이터링 트럭(710개), 터그카(659개), 팔레트 돌리(785개)는 안전콘(8,755개)과 작업자(6,620개)에 비해 표본 수가 매우 적었다. 이에, v₄ 데이터셋 구축 과정에서 해당 클래스의 표본을 확보하는 것에 중점을 두었으며, 최종적으로 약 18,000개∼30,000개로 증가했다. 특히, 시간이 지날수록 모든 클래스가 단계별로 증가하는 양상을 확인할 수 있다. 최종적으로 구축한 v₄ 데이터셋은 안전콘(278,982개)과 작업자(129,804개)가 가장 많았으며, 컨테이너(18,235개), 터그카(18,263개)가 상대적으로 낮은 분포를 보였다. 이처럼 클래스 간 빈도 차이는 지상조업 프로세스의 운영적 특성에서 기인한 것으로 분석된다. 안전콘과 작업자는 조업의 전 과정에서 빈번하게 노출되는 반면, 컨테이너는 수하물 하기 및 탑재, 터그카는 항공기 푸시백 과정 등 특정 작업 구간에서만 일시적으로 등장한다. 이러한 특성에도 불구하고, v₄ 데이터셋은 지상조업 특수장비인 터그카, 케이터링 트럭, 토잉카, 팔레트 돌리 등이 초기 대비 15배에서 30배 이상 증가한 것을 확인할 수 있다. 특히, v₃ 데이터셋에서 v₄ 데이터셋으로 확장되는 과정에서 항공기와 지상조업 특화 장비의 개수가 지속적으로 증가했다. 이는 본 연구가 일반 객체에 매몰되지 않고, 특수장비까지 고려하여 지상조업 데이터셋으로서의 가치를 확보했다는 것을 입증한다.

모델의 학습 과정에서 클래스 간 데이터 불균형은 수렴 속도가 느려지고, 일반화 성능을 저하시킨다(Oksuz et al., 2020). 이에, Table 6를 기반으로 5개 데이터셋의 클래스 간 불균형 정도를 측정했으며, 로렌츠 곡선(Lorenz curve)과 지니계수(Gini coefficient)를 활용했다. 로렌츠 곡선은 Fig. 4와 같으며, 가로축은 클래스의 누적 비율을, 세로축에 해당 클래스가 점유하는 개수의 누적 비율을 의미한다. 또한, 로렌츠 곡선은 모든 클래스가 동일한 빈도를 가질 시, 45도의 직선이 그려진다. 이 직선에서 멀어질수록 데이터의 분포가 특정 클래스에 편중된 것을 의미한다.

Fig. 4. Lorenz curve

Download Original Figure

지니계수($G$)는 로렌츠 곡선과 완전 평등선 사이의 면적을 이용하여 산출되는 정량적 지표이다. 이는 전체 클래스 수($n$), 각 클래스의 객체 수($x_i$), 클래스 별 객체 수의 산술 평균($\overline{x}$)을 이용하며 산출되며, 0에서 1 사이의 값을 가진다(식 (1)). 지니계수가 0에 가까울수록 모든 객체가 균등하게 분포함을 의미하며, 1에 가까울수록 특정 객체가 전체 데이터의 대부분을 차지하는 롱테일 분포를 형성하고 있는 것을 나타낸다.

분석 결과, 인간이 직접 라벨링을 수행한 초기 데이터셋(v₀)의 지니계수는 0.462가 도출됐다. 이는 작업자, 안전콘 등 특정 객체가 빈번하게 노출되는 주기장의 특성에 기인하고, 원천 데이터 자체에 일정 수준의 데이터 불균형이 존재하는 것을 알 수 있다. 이후, YOLO를 활용한 의사 라벨링을 통해 구축한 v₁ 데이터셋은 지니계수가 0.583까지 상승하며 불균형이 다소 심화되었으나, v₂, v₃를 거치며 지니계수가 점진적으로 하락하는 추세를 보였다. 최종 데이터셋인 v₄의 지니계수는 0.470이 도출되어 의사 라벨링을 수행한 데이터셋 중 가장 낮은 값을 기록했으며, 초기 데이터셋(v₀) 수준의 분포에 근접하게 수렴했다.

이러한 데이터 불균형의 변화는 Table 4의 데이터셋 버전별 최고 성능과 함께 살펴볼 수 있다. 데이터셋 버전이 올라갈수록 학습에 활용되는 데이터 양은 증가하며, 불균형은 v₁에서 심화된 뒤 v₂ 이후 점차 완화되는 양상을 보였다. 안전콘은 v₀에서 v₁으로 확장될 때, 약 27%에서 43%로 비중이 확대된 반면, 케이터링 트럭과 카고컨베이어는 같은 구간에서 개체 수 증가가 제한적이었다(Table 6). 이후, 데이터셋이 확장되면서 초기 대비 적었던 지상조업 특화 장비가 보강되었고, 지니계수는 다시 낮아지며 v₄는 v₀과 유사한 수준에 근접하였다. 이러한 흐름은 버전별 최고 성능과도 연계된다. v₀에서 v₁으로 확장되며 mAP가 0.88에서 0.93으로 상승한 점은 데이터 규모의 증가와 객체 구성의 확장이 탐지 성능 개선과 함께 나타난 결과로 볼 수 있다. 또한, v₃에서 0.94의 최고 mAP가 도출된 점 역시 양적 확장과 클래스 분포의 안정화가 병행된 구간에 해당한다. 따라서 본 연구의 데이터셋 확장 과정은 양적 향상과 질적 균형을 동시에 확보했으며, 탐지 성능이 개선되는 경향을 확인했다는 점에서 의의가 있다.